XML Sitemap
Настройте генерацию XML Sitemap — файла, содержащего форматированный список ссылок на страницы сайта. Наличие Sitemap XML помогает ботам поисковых систем быстрее обнаружить и просмотреть ваши страницы — в файле указывается дата последнего обновления, приоритет и рекомендуемый интервал обхода страниц.
Отправьте его в поисковые системы через панели вебмастера, такие как Google Search Console и Яндекс Вебмастер.
В Яндекс Вебмастере перейдите в раздел «Индексирование > файлы Sitemap» и добавьте адреса карт.
В Google Search Console перейдите в раздел «Индексирование > файлы Sitemap» и аналогично добавьте адреса.
Также желательно указать адреса карт сайта в файле robots.txt.
Как правило, максимальный размер Sitemap не должен превышать 50000 ссылок. Если сайт большой — можно либо сделать постраничную навигацию и отдавать несколько файлов, либо разбить карты по разделам: общий, статьи, товары, категории, новости и так далее.
HTML Sitemap
Sitemap HTML — это уже не отдельный файл, как XML, а полноценная веб-страница, которая содержит информацию о структуре сайта.
Она обычно создается в формате HTML и представляет собой список ссылок на важные страницы сайта. Понятное дело, что если у вас интернет-магазин на несколько тысяч товаров — не стоит выводить их все на этой странице. Однако вывести структуру каталога и основных разделов вполне себе можно. Зачастую sitemap.html представляет собой упрощенную версию sitemap.xml.
В отличии от XML формата, основная цель sitemap.html заключается в упрощении навигации по сайту для пользователей. Он представляет своеобразный «хаб» — централизованный и структурированный список доступных страниц, что помогает посетителям легко ориентироваться на сайте и быстро найти нужную информацию, но также это положительно влияет на индексацию поисковыми системами.
Robots.txt
Данный файл дает рекомендации поисковым системам, какие страницы и разделы сайта индексировать, а какие нет.
С помощью инструкций в robots.txt нужно отключить индексирование нецелевых страниц — типа поиска, оплаты, личного кабинета.
Также можно убрать технические дубли страниц, например когда из-за особенностей CMS сайта страницы доступны как по ЧПУ адресам, так и по ID страниц.
Еще в robots.txt указываются адреса карт сайта.
Дубли страниц
Когда поисковая система индексирует 2 одинаковые или сильно похожие страницы в рамках одного сайта — возникает вопрос, а зачем держать в индексе обе, если они по сути представляют одно и то же. Одна из страниц будет убрана из индекса, причем не всегда именно та, которую мы хотим убрать.
Чтобы этого избежать, нужно позаботиться о корректных настройках и наполнении сайта. Дубли могут быть:
Технические — генерация дубликатов страниц из-за особенностей системы управления сайтом. На примере того же MODX — по умолчанию страницы доступны по ЧПУ адресу и по ID в параметрах.
Смысловые — когда создаются похожие страницы, отвечающие на одинаковые поисковые запросы. Чтобы этого избежать, нужно нормально собирать семантическое ядро — подробнее разбирал это в статье. Но чтобы было проще понять — на сайте создали 2 раздела «фасадные краски» и «краски для наружных работ», хотя и по логике и по мнению поисковых систем это должна быть одна страница.
Для устранения технических дублей нужно:
- настроить редиректы
- закрыть ненужные страницы в robots.txt
- избавиться от генерации адресов в системе
Для устранения смысловых дублей нужно выяснить, какая из страниц привлекает больше трафика и занимает лучшие позиции в поиске, и «приклеить» к ней дубль — возможно перенести часть контента и настроить редирект.
Качество контента
Создавайте ценный, актуальный и уникальный контент, который привлекает посетителей и побуждает их оставаться на сайте.
Хорошие поведенческие повышают вероятность индексации и улучшают ранжирования поисковыми системами. Кроме того, экспертный контент может помочь в наращивании ссылочной массы.
Структура и DFI
Важную роль играет параметр уровня вложенности страниц. При этом его можно разделить на 2 составляющие:
- вложенность URL — сколько подкаталогов в адресе страницы
- вложенность по кликам — сколько кликов от главной страницы нужно сделать, чтобы попасть на исследуемую страницу
Чем ближе исследуемая страница по кликам к главной — тем больший приоритет ей отдают боты поисковых систем.
Поэтому на главной странице сайта часто выводят новые товары, статьи, лучшие материалы и так далее — робот морду сайта обходит сильно чаще, чем остальные страницы.
Скорость загрузки
При долгом ответе сервера робот может не дождаться загрузки страницы и не проиндексировать ее. Также это снижает скорость обхода в целом.
Медленная загрузка негативно влияет на поведенческие факторы и сама по себе негативно воспринимается поисковыми системами, поэтому над скоростью загрузки работать нужно 100%.
Оптимизируйте изображения, минимизируйте файлы CSS и JavaScript, включите кэширование браузера и используйте сети доставки контента (CDN), чтобы ускорить время загрузки страниц.
Внутренняя перелинковка
Внутренние ссылки помогают ботам поисковых систем обнаружить новый контент и распределить ссылочный вес по сайту.
Старайтесь делать перелинковку не только для поисковых систем, но и для пользователей — хорошая перелинковка влияет на поведенческие факторы, пользователь дольше остается на сайте и увеличивается вероятность конверсии — клика по рекламе, заказ товара или услуги и так далее.
Подробнее про этот процесс писал в статье про внутреннюю перелинковку.
Обратные ссылки
Старайтесь получать качественные внешние ссылки с авторитетных сайтов. Обратные ссылки служат для поисковых систем сигналом доверия, сигнализируя о том, что ваш сайт популярен в Интернете и его стоит индексировать активнее в том числе.
Сосредоточьтесь на естественных и релевантных обратных ссылках, а не на низкокачественных или спамерских. Линкбилдинг — это обширная тема, поскольку существует много разнообразных инструментов наращивания ссылочной массы.
Социальные сети
Продвигайте сайт в социальных сетях. В какой-то степени это относится к предыдущей теме обратных ссылок. В большинстве соцсетей вы получаете даже не nofollow, а редирект ссылку, но тем не менее — по ней тоже пройдет бот поисковых систем и попадет на ваш сайт.
Краулинговый бюджет
Краулинговый бюджет — это количество страниц веб-сайта, которые поисковый робот (краулер) может просканировать за определенный период времени. Соответственно, открытие каждого лишнего URL — это снижение вероятности индексации целевого URL. При этом расходуют краулинговый бюджет также редиректы, битые ссылки, ссылки на другие ресурсы или неиндексируемые страницы.
Разберем важные действия, которые можно сделать для экономии краулингового бюджета.
Лишние редиректы
Часто бывает, например, что ставят ссылки без слеша или со слешем в конце. Для пользователя конечно разницы нет, поскольку CMS скорее всего перенаправит его на корректную страницу. Однако каждое такое перенаправление будет расходовать бюджет краулера. Просканируйте сайт, и устраните чрезмерное количество редиректов.
Битые ссылки
Аналогичная ситуация со страницей 404 ошибки — битые ссылки на сайте не нужны никому, поэтому наряду с устранением редиректов позаботьтесь и об устранении битых ссылок.
Nofollow, noreferrer, noopener
Пометка исходящих ссылок и неиндексируемых ссылок атрибутами rel="nofollow noreferrer noopener". В частности, внутренние ссылки на нецелевые страницы, например страницу авторизации, корзины, оплаты и так далее, можно помечать rel="nofollow". По такой ссылке не будет передаваться ссылочный вес и она не будет сканироваться роботом. Для ссылок на внешние сайты используйте набор атрибутов rel="nofollow noreferrer noopener" — таким образом сохраняем ссылочный вес и обеспечиваем безопасность от фишинга.
Мусорные страницы
Постарайтесь сделать так, чтобы каждая индексируемая страница была полезна для пользователя, содержала достаточно контента и отвечала на какие-либо поисковые запросы. Иначе большое количество ненужных мусорных страниц на сайте будет занимать время бота на переобход, отнимая внимание от важных страниц.
Периодически проверяйте наличие ошибок сканирования в консолях вебмастеров Яндекс и Google. Оперативно устраняйте любые проблемы, такие как неработающие ссылки или недоступные страницы, чтобы поисковые системы могли быстрее индексировать сайт.
Переобход страниц
Панели вебмастеров позволяют уведомить поисковые системы о появлении нового документа на сайте или обновления контента старого.
В Google Search Console введите URL адрес страницы в поисковую строку, дождитесь окончания загрузки и нажмите «запросить индексирование».
В Яндекс Вебмастере перейдите в раздел «Индексирование > Переобход страниц», вставьте список URL в текстовое поле и нажмите кнопку «Отправить».
Метод отправки на переобход крайне эффективен для быстрого добавления страницы в индекс — например, эта статья появилась в индексе Яндекса через пару минут после отправки.
Комплекс этих действий поможет ускорить индексацию сайта и страницы будут попадать в поиск в течение нескольких минут. Если статья была полезной — можете подписаться на телеграм-канал, чтобы не пропускать выход новых статей и заметок, которые не выходят на сайте.
Комментарии (1)