Топ 3 причины почему сайт не отображается в поиске

Не можете найти свой сайт ни Яндекс, ни Google — не проблема — сейчас исправим.

Вначале давайте покажу, как проверить, есть ли сайт в поиске Яндекса и Google. А дальше рассмотрим, как проверить, как индексируется сайт.

Причины

Почему не индексируется сайт? Топ 3 — самые популярные причины, почему сайта нет в индексе поисковиков:

• Сайт закрыт от индексации в файле robots.txt.
• У сайта не прописаны метатеги (title и description) и поисковики, не понимаю, о чём вообще сайт, и не берут его в индекс.
• Сайт закрыт от индексации постранично с помощью специального тега “noindex”.

Конечно, есть и более экзотические причины, почему сайт не показывается в поиске, но в 90% случаев дело именно в этих трех причинах. Сейчас разберем, как все это исправить, потом коснемся более экзотических причин, а в конце ролика я расскажу, как ускорить индексацию вашего сайта — чтобы он как можно скорее появился в поиске — поэтому обязательно дочитайте статью до конца.

Нет времени читать статью — смотри видео на Ютуб 👇

Проверить файл robots.txt

Обычно данный файл находится по адресу https://site.ru/robots.txt. Пример файла для нашего сайта: https://www.rush-agency.ru/robots.txt.

Если вы видите в вашем файле директиву:

Проверка в Яндекс:

Добавляете Яндекс Вебмастер на сайте, если он не добавлен. Инструкция тут.

После подтверждения прав, если весь сайт закрыт от индекса, то в панели Яндекс Вебмастера будет висеть предупреждение, что сайт закрыт от индекса.

Проверить нет ли на вашем сайте запрещающих индексацию метатегов

А именно:

1. Robots Meta Tag.

Где проверить:

• Полезное расширение для Google Chrome Seo Meta in 1 Click.

• Напрямую в коде страницы: открываете страницу, нажимаете F12, вбиваете в поиске “robots”.

2. HTTP-заголовок X-Robots-Tag.

Подробнее, в документации Яндекса.

В чем еще может быть причина

Что, если все из вышеперечисленного в порядке, но сайт все равно не индексируется и не показывается в поиске? Тут могут быть более экзотические проблемы. Ниже самые частые причины, почему сайт не индексируется в Яндексе и Гуглом.

Низкая скорость загрузки

Возможно, ваш сайт так медленно загружается, что в момент прихода поисковых роботов просто падает от нагрузки. Проверьте скорость загрузки сайта: сделать это можно в таких сервисах как:

• Google Pagespeed Insights: https://pagespeed.web.dev/analysis/https-www-rush-agency-ru/pq2wzabmuk?hl=ru&form_factor=mobile

• Или GtMetrix.

Если все показатели в красной зоне — с этим нужно что-то делать. Покажите эти отчеты своим программистам. Иногда проблема в хостинге, и нужно переехать на более надежный хостинг. Для своих сайтов и сайтов клиентов мы часто используем хостинг Beget — у них быстрые, надежные сервера и отличная круглосуточная поддержка.

SPA-сайты

Сайт может быть построен на сложной технологии — например, React, Angular или Vue.js Часто вместо контента таких страниц Яндекс и Google видят просто белый лист и, естественно, не индексируют сайт. Спросите у своих разработчиков, используются ли такие технологии на сайте. Если да — обратитесь к SEO-специалистам для технического аудита сайта — они составят техническое задание для программистов, и те все исправят.

Бан от ПС

Казалось бы, технически все впорядке, но сайт плохо индексируется. Самая неприятная вещь — вам домен может быть в бане поисковых систем. Такое случается, когда вы покупаете домен с историей, не проверяя ее. А там раньше был контент для взрослых, казино или еще какая-то чернуха. Перед покупкой домена с историей, обязательно зайдите в сервис веб-архив и посмотрите, не было ли раньше на страницах сайта чего-то подозрительного.

Давайте быстро посмотрим, как это делается:

https://web.archive.org/web/20200601000000*/dom2so.ru

https://web.archive.org/web/20240227123614/https://dom2so.ru/

Если вы обнаружили, что на вашем домене раньше была клубничка или реклама онлайн-казино — купите новый домен, а этот придется просто бросить.

Сайт на конструкторе

Страницы сайта не индексируются? Еще одна причина может быть в том, что сайт сделан на конструкторе — таком как WIX, LPgenerator или Тильда, и не привязан к домену. Обычно конструкторы выдают бесплатный домен вида supersite556.tilda.cc — такие домены очень плохо индексируются поисковыми системами. Но исправить это довольно просто — купите нормальный домен второго уровня — то есть вида site.ru или site.com и направьте в панели администрирования ваш сайт на этот домен.

Как ускорить индексацию сайта

Обещал рассказать, как ускорить индексацию сайта.

Сначала разберемся, как работает индексация в поисковиках. Чтобы ваш сайт попал в поиск — поисковые роботы должны как-то его найти, скачать, понять, что он классный, и в течение нескольких дней или недель добавить его в поиск. Наша задача и состоит в том, чтобы помочь им найти наш сайт.

Вот полный гайд: “Что такое индексация сайта”, прочитайте обязательно.

Так как всё же можно ускорить индексацию:

1. Самое простое — это явно сообщить поисковым системам о нашем сайте: добавить сайт в сервис Яндекс Вебмастер и в Сервис Google Search Console. С помощью этих сервисов можно буквально сказать: «Эй, Яндекс, эй Гугл — у меня тут новый сайт — взгляните на него!» — это делается довольно просто, вот ссылки с инструкциями от ПС:

• https://yandex.ru/support/webmaster/robot-workings/robot.html
• https://support.google.com/webmasters/answer/34592?hl=ru

2. Роботы поисковых систем постоянно путешествуют по сайтам и ищут ссылки на новые сайты. А чаще всего они посещают главные страницы сайтов! Попросите друзей и партнеров на время разместить ссылку на ваш сайт на главной странице или в разделе партнеров. А если они готовы оставить ее навсегда — это вообще замечательно.

3. Сделайте посты в социальных сетях со ссылкой на ваш сайт — чем больше, тем лучше. Поисковики обязательно найдут эти ссылки.

Как в этом случае сделать так, чтобы сайт индексировался? Для новых сайтов не стоит заморачиваться какими-то другими сложными способами. Подождите несколько дней — обычно за неделю сайт попадет в поиск. Развивайте свои сайты, получайте трафик и продажи — всем пока!