Структура сайта и перелинковка: почему страницы не индексируются

Самая обидная причина, по которой страница не приносит переходов, — её просто нет в поиске. Не «низко в выдаче», а нет вообще. Текст написан, товар выложен, фотографии сняты, а робот на страницу ни разу не заходил, потому что не нашёл дороги.

Проверяется это за минуту, и проверять стоит до того, как заказывать тексты или оптимизацию. Бывает, что весь бюджет уходит на переписывание страниц, которых поисковик никогда не видел.

Поисковый робот ходит по ссылкам. У него нет вашей карты сайта в голове и нет времени на бесконечный обход: на каждый сайт он тратит ограниченный ресурс. Всё, что лежит далеко от главной или вообще ни с чем не связано, он находит поздно или не находит.

Сначала проверьте, что вообще в индексе

Прежде чем менять структуру, посмотрите на факты. Три проверки, каждая занимает минуту.

1. 01Введите в поиске `site:ваш-сайт.ru` — вы увидите примерное число известных поисковику страниц. Сравните его с реальным количеством страниц на сайте.
2. 02Откройте Яндекс.Вебмастер → «Индексирование» → «Страницы в поиске». Там же есть вкладка с исключёнными страницами и причиной исключения по каждой.
3. 03В Google Search Console откройте отчёт «Индексирование страниц»: он делит адреса на проиндексированные и непроиндексированные и по каждой группе объясняет причину.
4. 04Проверьте конкретный адрес: вставьте его в строку поиска целиком. Если страницы нет в результатах — её нет в индексе.

Причина первая: страница слишком глубоко

Глубина измеряется не длиной адреса, а числом кликов от главной страницы. Страница, до которой нужно кликнуть шесть раз, для робота почти невидима, даже если её адрес короткий.

Здоровая структура для сайта малого бизнеса — три уровня. Главная, разделы, страницы внутри разделов. Четвёртый уровень оправдан только в крупном каталоге, и там его компенсируют фильтрами и ссылками с других страниц.

Проверить глубину без специальных программ можно вручную: откройте главную и попробуйте дойти до самой дальней страницы, считая клики. Если сбились со счёта или не дошли — робот тоже не дойдёт.

Причина вторая: страница-сирота

Сирота — страница, на которую не ведёт ни одна внутренняя ссылка. Она существует, открывается по прямому адресу, но добраться до неё кликами невозможно. Такие появляются сами собой: страницу сделали под рекламную кампанию, кампанию выключили, ссылку из меню убрали, а страница осталась.

• Посадочные страницы под рекламу, на которые вели только объявления.
• Старые акции и распродажи, снятые из меню после окончания.
• Страницы, созданные «на будущее» и забытые.
• Разделы, потерявшиеся при переносе сайта на новый движок.
• Товары, снятые из категории, но не удалённые с сайта.

1. 01Возьмите список всех адресов сайта: из карты сайта sitemap.xml (обычно лежит по адресу ваш-сайт.ru/sitemap.xml) или из выгрузки в панели вебмастера.
2. 02Возьмите список страниц, на которые есть переходы, из Метрики: отчёт «Содержание» → «Популярное», за последний год.
3. 03Сравните списки. Адреса, которые есть в первом и отсутствуют во втором, — кандидаты в сироты.
4. 04По каждому решите: нужна страница — дайте на неё ссылку из подходящего раздела; не нужна — удалите и настройте перенаправление на близкую по смыслу.

Как посмотреть на сайт глазами робота

Часть проблем видна только тогда, когда смотришь на страницу без выполнения скриптов — примерно так её впервые получает робот. Это делается штатными средствами и занимает пару минут.

1. 01Откройте страницу и нажмите Ctrl+U — это исходный код, отданный сервером, до работы скриптов. Найдите поиском ссылки на другие разделы. Если в коде их нет, а на экране они есть — меню рисуется скриптом, и робот может его не увидеть.
2. 02Проверьте главную: выполните `curl -s https://ваш-сайт.ru | grep -o 'href="[^"]*"' | head -40`. Вы увидите первые сорок ссылок ровно так, как их получает робот.
3. 03Загляните в Яндекс.Вебмастер, «Инструменты» → «Проверка ответа сервера»: он покажет код ответа и содержимое, полученное роботом Яндекса.
4. 04В Google Search Console вставьте адрес в строку проверки URL наверху и нажмите «Проверить страницу на сайте» — там есть просмотр отрендеренной страницы и списка ресурсов, которые загрузить не удалось.

Причина третья: страница закрыта от индексации

Иногда дороги нет не потому, что её забыли проложить, а потому, что на ней стоит шлагбаум. Три места, где он ставится, и все три надо проверить.

Самый частый случай из практики: сайт разрабатывали на тестовом домене, закрыли от индексации целиком, а после запуска снять запрет забыли. Проверяется за десять секунд — откройте robots.txt и убедитесь, что там нет строки, запрещающей всё сразу.

Причина четвёртая: дубли съедают ресурс обхода

Обратная ситуация: страниц в индексе больше, чем на сайте. Робот тратит отведённый на вас ресурс на копии, и до настоящих страниц доходит позже. Дубли редко создают руками — их плодит движок.

Самая частая находка — четыре версии сайта сразу: с www и без, по http и по https. Для человека это один сайт, для поисковика — потенциально четыре разных, между которыми размазан вес. Проверяется вручную: наберите все четыре варианта адреса и убедитесь, что три из них перебрасывают на четвёртый, а не открываются самостоятельно.

Как связывать страницы между собой

Внутренние ссылки решают две задачи одновременно: показывают роботу дорогу и переводят человека к следующему шагу. Хорошая перелинковка не выглядит как перелинковка — она выглядит как удобная навигация.

• Меню — только основные разделы. Меню на сорок пунктов не помогает ни человеку, ни роботу: вес размазывается тонким слоем.
• Хлебные крошки — цепочка «Главная → Раздел → Страница» вверху. Дают роботу понимание иерархии и человеку — способ подняться на уровень выше. Их стоит размечать по Schema.org, чтобы поисковик показывал путь прямо в выдаче: об этом в статье про микроразметку.
• Ссылки в тексте — самые ценные. Робот учитывает текст ссылки как описание того, что за ней. «Читайте здесь» не описывает ничего, «как выбрать механизм дивана» — описывает.
• Блоки «похожее» и «с этим покупают» — связывают страницы одного уровня и уменьшают их глубину друг для друга.
• Ссылки из блога в каталог — статья отвечает на вопрос, каталог продаёт. Связь между ними работает в обе стороны.

Как спроектировать разделы, если сайт делается заново

Перестраивать структуру работающего сайта дорого, поэтому на новом её стоит заложить сразу. Отправная точка — не ваш прайс и не структура папок в бухгалтерии, а то, как покупатель делит ваш товар в голове.

• Разделы по потребности, а не по внутренней классификации. «Шкафы в прихожую» и «шкафы в спальню» человеку понятнее, чем «корпусная мебель серии А» и «серии Б».
• Один уровень вложенности — одно основание деления. Если внутри «Диванов» лежат «Угловые», «Прямые» и «Икея» — основание сбилось: первые два про форму, третье про производителя. Такой раздел неизбежно расползётся.
• От трёх до восьми пунктов на уровне. Два подраздела означают, что деление лишнее. Двадцать — что нужен промежуточный уровень или фильтры вместо разделов.
• Адреса читаемые и без дат. `/uslugi/remont-holodilnikov` переживёт переезд и переименование, `/page?id=417` — нет.
• Фильтры отдельно от разделов. Цвет, цена и размер — это фильтры внутри категории, а не подразделы. Иначе на каждое сочетание рождается страница, и получается тот самый перекос с дублями.

Что именно вынести в разделы, подскажет список запросов: группы, собранные при разборе семантического ядра, почти напрямую превращаются в разделы и страницы. Это и есть смысл собирать их до того, как рисовать меню, а не после.

Как должна выглядеть здоровая структура

Простой критерий: любую страницу сайта можно найти за три клика с главной, и на каждую ведёт минимум одна осмысленная ссылка из текста или из блока навигации. Если это выполняется, проблем с обходом почти не бывает.

1. 01Нарисуйте структуру на листе: главная, разделы, что внутри. Не в голове — на бумаге, иначе лишние уровни не видно.
2. 02Отметьте страницы, до которых больше трёх кликов. Для каждой придумайте, откуда на неё сослаться выше.
3. 03Найдите сироты сравнением карты сайта со списком посещаемых страниц.
4. 04Проверьте, что хлебные крошки есть на всех внутренних страницах.
5. 05Проверьте robots.txt и мета-теги на случайной выборке из пяти страниц.
6. 06Отправьте обновлённую карту сайта в обе панели вебмастеров и через две недели сравните число страниц в индексе.

Один нюанс про сроки: изменения в индексе появляются не сразу. Роботу нужно заново обойти сайт, и на небольших сайтах это занимает от нескольких дней до нескольких недель. Поэтому проверять результат имеет смысл не назавтра, а через две-три недели, и сравнивать не ощущения, а число страниц в поиске, записанное до правок.

Структура — фундамент, на который ложится всё остальное. Пока страницы не найдены, ни хорошие заголовки, ни разметка, ни скорость роли не играют. Зато когда фундамент в порядке, каждое следующее улучшение начинает считаться. Следующий шаг после структуры — распределить по разделам собранные запросы: семантическое ядро своими силами.