Зачем сайту отдельная техническая подготовка под ИИ
Классический технический SEO-аудит не покрывает все, что нужно для попадания в ответы ChatGPT, Perplexity и других генеративных систем. У ИИ-краулеров свои правила доступа, а у алгоритмов синтеза ответа — свои требования к структуре данных. Без этой прослойки даже отлично проиндексированный в Google сайт может быть невидим для ИИ-поиска.
Robots.txt: как открыть сайт для GPTBot и Google-Extended
ИИ-краулеры OpenAI (GPTBot) и Google (Google-Extended) обращаются к сайту по собственным user-agent и должны быть явно упомянуты в robots.txt — по умолчанию доступ не гарантирован. Шаблон нельзя копировать без адаптации: правила должны учитывать структуру конкретного сайта — например, закрытые от индексации служебные разделы должны оставаться закрытыми и для ИИ-ботов.
Базовые шаги:
- Определите, какие разделы сайта должны быть видимы ИИ-системам, а какие — нет.
- Добавьте отдельные директивы для GPTBot, Google-Extended и аналогичных user-agent.
- Проверьте файл через инструменты тестирования robots.txt после каждого изменения структуры сайта.
Schema Markup и JSON-LD: как ИИ считывает структуру страницы
Разметка Schema.org в формате JSON-LD помогает ИИ-системам и поисковикам понимать сущности и контекст страницы — это подтвержденная, широко используемая практика. Наиболее полезные типы разметки для GEO:
- FAQPage — напрямую поддерживает формат «вопрос-ответ», на который ориентируются генеративные системы;
- Article / HowTo — структурирует материал по шагам и разделам, упрощая извлечение фрагментов;
- Organization — усиливает сигналы авторитетности бренда как единой сущности.
PDF-хостинг и другие форматы для машиночитаемости
Развернутые материалы — методички, отчеты, спецификации — стоит размещать в доступном для краулеров формате, а не только в виде изображений или закрытых форм. PDF с текстовым слоем (не сканом) индексируется и может использоваться как источник цитирования наравне с обычной веб-страницей.
Open Graph и Twitter Cards: осторожно с ожиданиями
Open Graph и Twitter Cards — прежде всего инструмент социальных превью при расшаривании ссылки. Прямое влияние этой разметки на то, как ИИ-системы парсят и цитируют страницу, подтверждается только вторичными источниками — не стоит рассчитывать на нее как на самостоятельный GEO-инструмент, но и убирать ее не нужно: базовая гигиена метаданных страницы не создает рисков.
Чек-лист технической подготовки
- Открыть доступ GPTBot и Google-Extended в robots.txt с учетом структуры сайта.
- Внедрить FAQPage-разметку на страницах с вопросами аудитории.
- Добавить Article/HowTo-разметку на инструктивные и обзорные материалы.
- Разместить развернутые PDF-материалы с текстовым слоем, а не сканами.
- Проверить корректность Open Graph и базовых метатегов.
- Повторно протестировать robots.txt и разметку после любых структурных изменений сайта.