Rivalry2

HTML Diff

3 added 0 removed

Original 2026-01-01

Modified 2026-02-21

1 <a>#статьи</a>

2 <ul><li>21 ноя 2019</li>

3 <li>0</li>

4 </ul>В данном руководстве я расскажу, где искать причину возникновения ошибки сканирования сайта и как вернуть страницы в индекс Google.

5 vlada_maestro / shutterstock

6 SEO-специалист компании Adindex.ua

7 Googlebot не всегда должным образом обрабатывает директивы в тегах<meta name="robots">. Одной из причин может быть неверное расположение этих элементов в структуре кода страницы. Из-за этого нужные страницы выпадают из поиска, а нежелательные, наоборот, попадают.

8 На сайте нашего клиента были реализованы метатегиnoindex(для закрытия страниц от индексации поисковым роботом) и canonical(для указания основной версии страницы для Googlebot). Эти теги размещались в секции<head>и были действительны, однако поисковый робот не мог их распознать.

9 Как следствие, в индекс Google попадали страницы, ненужные с точки зрения поискового продвижения. Проверка страниц в консоли поиска показала, что Googlebot не видит установленные директивы<meta name="robots">:

10 Для поиска решения проблемы сравнили исходный HTML-код страницы с готовым DOM. Первое - это код, который браузер выдаёт в режиме просмотра кода страницы, а второе - то, что браузер использует для показа страницы конечным пользователям, когда весь код выполнен на стороне клиента (например, JavaScript-сценарии).

11 В результате заметили интересную особенность: в необработанном HTML-коде стоял блок JavaScript, он находился над метатегамиrobots. Когда страница была полностью обработана и весь код на стороне клиента выполнен, JavaScript вставлял на страницу дополнительный блок<iframe>, который размещался над метатегами.

12 Этот блок кода оказался проблематичным в связи с двухэтапным процессом индексации Google:

13 <ul><li>Первый этап индексации основан на исходном коде HTML веб-страницы, когда никакие клиентские скриптовые сценарии не выполняются как часть процесса индексации.</li>

14 <li>На втором этапе Google выполняет индексацию той же страницы, но с загрузкой клиентских сценариев, и страница отображается в том виде, как это сделал бы веб-браузер.</li>

15 </ul>Проблема была как раз на втором этапе индексации. JavaScript-сценарий вставлял блок скриптов над метатегамиrobotsв финальном коде страницы. Но по официальному стандарту W3C блок не принадлежит разделу<head>кода страницы и должен находиться в <body>.

16 Когда Google видит данный блок в разделе<head>, он предполагает, что<head>завершился и начался раздел<body>страницы. Судя по всему, Google обрабатывает метатеги как часть второго этапа индексации. Это и стало причиной ошибки, так как Google преждевременно обработал остальной код скриптового блока как часть<body>и проигнорировал наличие теговrobots.

17 Решение проблемы оказалось довольно простым - переместить метатеги robots над блоком скриптов в разделе<head>. В течение нескольких дней бот распознал изменения и начал сообщать о них в Google Search Console:

18 Результаты проверки страницы, закрытой от индексации метатегом noindex, в Google Search ConsoleКоличество проиндексированных страниц с тегом canonical заметно увеличилось. Вот такую динамику показывает Google Search Console:

19 + Интернет-маркетинг на практике

20 + Вы изучите SMM, копирайтинг, таргетинг и продвижение в интернете. На примере кафе с доставкой еды вы разберёте, как продвигать бизнес в интернете, и соберёте сильное портфолио.

21 + <a>Пройти бесплатно</a>

19 <a>Попробуйте 4 профессии в интернет-маркетинге на практике ➞На бесплатном мини-курсе вы исследуете ЦА, создадите сайт, оформите социальные сети, напишете продающие тексты и настроите рекламу. Смотреть программу</a>

22 <a>Попробуйте 4 профессии в интернет-маркетинге на практике ➞На бесплатном мини-курсе вы исследуете ЦА, создадите сайт, оформите социальные сети, напишете продающие тексты и настроите рекламу. Смотреть программу</a>