Почему сайт не отображается в поисковиках

Не можете найти свой сайт ни Яндекс, ни Google — не проблема — сейчас исправим.

Вначале давайте покажу, как проверить, есть ли сайт в поиске Яндекса и Google.

Как найти сайт в Гугл
Как найти сайт в Яндекс
Что делать, если сайта нет в поисковиках
Как найти сайт в Гугл
Как найти сайт в Яндекс
Что делать, если сайта нет в поисковиках

Причины

Топ 3 — самые популярные причины, почему сайта нет в индексе поисковиков:

  • Сайт закрыт от индексации в файле robots.txt.
  • У сайта не прописаны метатеги (title и description) и поисковики, не понимаю, о чём вообще сайт, и не берут его в индекс.
  • Сайт закрыт от индексации постранично с помощью специального тега “noindex”.

Конечно, есть и более экзотические причины, почему сайт не показывается в поиске, но в 90% случаев дело именно в этих трех причинах. Сейчас разберем, как все это исправить, потом коснемся более экзотических причин, а в конце ролика я расскажу, как ускорить индексацию вашего сайта — чтобы он как можно скорее появился в поиске — поэтому обязательно дочитайте статью до конца.

Проверить файл robots.txt

Обычно данный файл находится по адресу https://site.ru/robots.txt. Пример файла для нашего сайта: https://www.rush-agency.ru/robots.txt.

Если вы видите в вашем файле директиву:

Disallow: / — то 100% ваш сайт закрыт от индекса, для той или иной ПC.

User-agent: * — для всех поисковых ботов.

User-agent: GoogleBot — чисто под Google.

User-agent: Yandex — чисто под Яндекс.

Проверить файл robots.txt

Проверка в Яндекс:

Добавляете Яндекс Вебмастер на сайте, если он не добавлен. Инструкция тут.

После подтверждения прав, если весь сайт закрыт от индекса, то в панели Яндекс Вебмастера будет висеть предупреждение, что сайт закрыт от индекса.

Проверка в Яндекс

Проверить нет ли на вашем сайте запрещающих индексацию метатегов

А именно:

1. Robots Meta Tag.

Как проверить сайт через Robots Meta Tag

Где проверить:

Проверка через расширение для Google Chrome
  • Напрямую в коде страницы: открываете страницу, нажимаете F12, вбиваете в поиске “robots”.
Как проверить напрямую через код страницы

2. HTTP-заголовок X-Robots-Tag.

Запустить проверку через HTTP-заголовок X-Robots-Tag

Подробнее, в документации Яндекса.

В чем еще может быть причина

Что, если все из вышеперечисленного в порядке, но сайт все равно не индексируется и не показывается в поиске? Тут могут быть более экзотические проблемы.

Низкая скорость загрузки

Возможно, ваш сайт так медленно загружается, что в момент прихода поисковых роботов просто падает от нагрузки. Проверьте скорость загрузки сайта: сделать это можно в таких сервисах как:

Проверьте сайт через Google Pagespeed Insights
  • Или GtMetrix.

Если все показатели в красной зоне — с этим нужно что-то делать. Покажите эти отчеты своим программистам. Иногда проблема в хостинге, и нужно переехать на более надежный хостинг. Для своих сайтов и сайтов клиентов мы часто используем хостинг Beget — у них быстрые, надежные сервера и отличная круглосуточная поддержка.

Что если все показатели в красной зоне

SPA-сайты

Сайт может быть построен на сложной технологии — например, React, Angular или Vue.js Часто вместо контента таких страниц Яндекс и Google видят просто белый лист и, естественно, не индексируют сайт. Спросите у своих разработчиков, используются ли такие технологии на сайте. Если да — обратитесь к SEO-специалистам для технического аудита сайта — они составят техническое задание для программистов, и те все исправят.

Что такое SPA-сайты

Бан от ПС

Самая неприятная вещь — вам домен может быть в бане поисковых систем. Такое случается, когда вы покупаете домен с историей, не проверяя ее. А там раньше был контент для взрослых, казино или еще какая-то чернуха. Перед покупкой домена с историей, обязательно зайдите в сервис веб-архив и посмотрите, не было ли раньше на страницах сайта чего-то подозрительного.

Давайте быстро посмотрим, как это делается:

https://web.archive.org/web/20200601000000*/dom2so.ru

https://web.archive.org/web/20240227123614/https://dom2so.ru/

Почему домен может быть в бане поисковых систем

Если вы обнаружили, что на вашем домене раньше была клубничка или реклама онлайн-казино — купите новый домен, а этот придется просто бросить.

Важно! Не делаете переадресацию с забаненного домена — просто бросьте его.

Сайт на конструкторе

Еще одна причина может быть в том, что сайт сделан на конструкторе — таком как WIX, LPgenerator или Тильда, и не привязан к домену. Обычно конструкторы выдают бесплатный домен вида supersite556.tilda.cc — такие домены очень плохо индексируются поисковыми системами. Но исправить это довольно просто — купите нормальный домен второго уровня — то есть вида site.ru или site.com и направьте в панели администрирования ваш сайт на этот домен.

Как ускорить индексацию сайта

Обещал рассказать, как ускорить индексацию сайта.

Сначала разберемся, как работает индексация в поисковиках. Чтобы ваш сайт попал в поиск — поисковые роботы должны как-то его найти, скачать, понять, что он классный, и в течение нескольких дней или недель добавить его в поиск. Наша задача и состоит в том, чтобы помочь им найти наш сайт.

Вот полный гайд: “Что такое индексация сайта”, прочитайте обязательно.

Так как всё же можно ускорить индексацию:

1. Самое простое — это явно сообщить поисковым системам о нашем сайте: добавить сайт в сервис Яндекс Вебмастер и в Сервис Google Search Console. С помощью этих сервисов можно буквально сказать: «Эй, Яндекс, эй Гугл — у меня тут новый сайт — взгляните на него!» — это делается довольно просто, вот ссылки с инструкциями от ПС:

Обязательно поставьте на сайте счетчик Яндекс Метрики, и, как только кто-то зайдет на новую страницу вашего сайта — роботы Яндекса об этом узнают и скоро добавят ее в поиск.

2. Роботы поисковых систем постоянно путешествуют по сайтам и ищут ссылки на новые сайты. А чаще всего они посещают главные страницы сайтов! Попросите друзей и партнеров на время разместить ссылку на ваш сайт на главной странице или в разделе партнеров. А если они готовы оставить ее навсегда — это вообще замечательно.

3. Сделайте посты в социальных сетях со ссылкой на ваш сайт — чем больше, тем лучше. Поисковики обязательно найдут эти ссылки.

Для новых сайтов не стоит заморачиваться какими-то другими сложными способами. Подождите несколько дней — обычно за неделю сайт попадет в поиск. Развивайте свои сайты, получайте трафик и продажи — всем пока!

Поделиться
Репостнуть
Твитнуть