Примечание — я использую KeyCollector, сервисы антикапчи и прокси. Все описанное ниже можно сделать и вручную в Excel, но если помножить стоимость часа на объем добавленной работы — расходы выйдут сильно больше, чем уходит на платные сервисы.
Я на первых этапах не очень хотел ими пользоваться, но по мере того, как понимаешь пользу и экономию времени — сначала купил KeyCollector, потом начал использовать и антикапчу и прокси, тем более что они стоят копейки. Думаю по ходу инструкции будет понятно, о чем речь. Поехали 😀.
1 — Сбор базовых запросов
На этом этапе нужно собрать основные запросы в нише. Их также называют маркерными, базовыми, базисами, тематическими. Нужно учесть максимум возможных тем, синонимов, вариаций написания.
Например, для сайта про Excel базовыми запросами будут:
- excel
- эксель
- vba
- макросы
- power query
- гугл таблицы
- google таблицы
- google sheets
Как видите, самим Экселем дело не заканчивается, потому что в нем есть еще много вложенных инструментов.
Сбор базовых запросов нужен чтобы решить 2 проблемы. Во-первых, охватить максимально широкую семантику и ничего не пропустить. Во-вторых, избежать ошибки 41 страницы при парсинге Вордстат (об этом ниже).
Собирать базовые запросы можно несколькими способами:
- мозговой штурм
- интеллект карта
- уточненные запросы Вордстат
- правая колонка Вордстат
- поисковые подсказки
- seo-сервисы анализа конкурентов
- контент-анализ конкурентов
Рассмотрим алгоритм действий по каждому из способов.
Мозговой штурм
Включаем голову и пытаемся вспомнить все термины, определения, обозначения, категории, теги в вашей тематике. Помогает разбить тему на категории или критерии, и сгруппировать внутри запросы по смыслу, затем подобрать синонимы их написания.
Например, в нише строительных красок можно сделать такую группировку:
| Действия | Тип | Поверхность | Объект |
| Покраска | Акриловые | Бетон | Для стен |
| Покрасить | Акрилатные | Гипсокартон | Для потолков |
| Нанесение | Латексные | OSB | Потолочные |
| Нанести | Водные | ОСБ | По обоям |
Для подготовки такого списка можно использовать Excel:
Есть офлайн и онлайн приложения для создания таких карт. Наиболее популярное десктопное - Xmind (как бы платное, но будем считать, что намек вы поняли). Популярные онлайн инструменты: MindMeister, MindMap.
Когда свои идеи заканчиваются — пора переходить от мозгового штурма к данным из внешних источников.
Вордстат
Во-первых, неплохо просто вбить основной запрос и посмотреть несколько страниц результатов в левой колонке. Так можно найти дополнительные тематические слова и синонимы.
Во-вторых, можно использовать трюк Wordstat с выборкой запросов с фиксированным количеством слов. Для этого заключите запрос в оператор кавычек — это ограничит количество слов в возвращаемых запросах.
Но одно из слов продублируйте. Тогда по запросу "excel excel" — получим все запросы, состоящие из двух слов, в которых есть слово excel: «в excel», «ячейка excel» и так далее.
Вордстат не будет учитывать дубль в условиях поиска, но в фильтр по длине запроса он добавит 1 слово. При этом вместо дубля выдаст другие слова. Такой трюк работает и с несколькими дублями (продублируйте несколько слов в разных словоформах).
Поисковые подсказки
Вводим запрос в поиск Яндекса или Гугла и смотрим на выдаваемые поисковые подсказки. По сути, они похожи на функционал левой колонки wordstat, поэтому концептуально ничего нового в них нет, но выводятся актуальные запросы, которые ищут пользователи, а не весь мусор из Вордстата с "пустышками".
А вот проанализировать подсказки под результатами поиска нужно обязательно — в них выводятся не только запросы, содержащие текущий запрос, но и похожие тематические запросы пользователей.
На одном из этапов сбора ключевиков будем собирать именно этот блок, потому что в нем могут быть интересные запросы, не попавшие в Wordstat.
SEO-анализаторы
Можно проанализировать семантическое ядро сайтов конкурентов с помощью специальных сервисов. Наиболее популярные — SpyWords и KeysSo.
Достаточно ввести домен конкурента и получить список запросов — его нельзя использовать, как готовое семантическое ядро, потому что сторонние сервисы собирают неполные данные и с определенной задержкой. Но такая база подойдет для поиска новых базовых запросов и генерации идей.
Анализ конкурентов
Выписываем самые популярные сайты, соцсети, каналы конкурентов в нише и изучаем их контент. Опять же, это поможет сгенерировать новые идеи для сайта любой тематики:
- В блоге можно найти новые идеи популярного тематического контента.
- В каталоге посмотреть ассортимент, структуру и наполнение фильтров. Там тоже может быть много интересного: свойства товаров, синонимы, отдельные категории, не представленные у вас.
Можно оценить популярность тем, если на сайтах есть счетчики просмотров и комментариев, дата публикации контента. Соберите данные в таблицу Excel, рассчитайте динамику и просмотрите самые популярные материалы — наверняка найдется что-то такое, что не пришло в голову во время мозгового штурма. Добавляем в интеллект-карту.
В итоге должен получиться объемный список тематических запросов. Теперь на их основе мы можем парсить Вордстат.
2 — Левая колонка в первый раз
На этом этапе нам нужно собирать запросы из левой колонки Вордстат. Правая колонка содержит слишком много мусора, поэтому ее использовать не будем.
Ошибка 41 страницы
Как писал выше, по слишком «широким» запросам могут не собраться данные дальше 41 страницы. На 42 странице Вордстат выдаст ошибку, хотя по частотностям видно, что там еще очень много запросов.
Например, по слову «excel» на 41 странице видим частотности более 1000 — это значит, что нужных нам страниц с запросами там будет еще несколько десятков (если не сотен).
Но они недоступны и мы упустим значительную часть интересной семантики.
Перемножение запросов
Что значит «перемножить»? Например, основная тема «excel», и внутри нее есть «функции, макросы, таблицы». Нужно получить все возможные сочетания этих запросов:
- функции excel
- макросы excel
- таблицы excel
Как вы понимаете, такие запросы содержат меньше вложенных, поэтому, скорее всего, на 41 странице будут уже низкочастотники.
Можно воспользоваться инструментами перемножения списка запросов или сервисами рандомизации текстов:
При этом перемножать нужно не только основные и вложенные запросы, но и разные категории между собой. На примере тех же красок: свойство=моющиеся, основа=акриловые.
В итоге получится такой список:
- Краски
- Краски акриловые
- Краски моющиеся
- Краски акриловые моющиеся
Это нужно, опять же, чтобы избежать ошибки 41 страницы, потому что в некоторых нишах даже запросы из 2-3 слов содержат большое количество вложенных запросов.
Базовые частотности
У получившихся запросов нужно собрать базовую частотность по Вордстат, и выбрать более-менее частотные запросы, например, больше 50.
Это нужно, потому что текущий список создан нами искусственно и содержит много пустышек, потому перед парсингом надо от них избавиться, иначе сам парсинг займет много времени.
Для сбора базовых частотностей 2 варианта парсинга:
- Аккаунты Яндекс
- Яндекс XML (через XMLRiver)
Варианты парсинга
Эти же настройки понадобятся потом для сбора запросов из Вордстат и фразовых частотностей, поэтому давайте разберемся в их особенностях и настройке.
Аккаунты Яндекс Директ
В первом варианте мы задаем в настройках KeyCollector доступ к аккаунту(ам) Яндекса. При запуске парсинга программа авторизуется в них и выполняет указанные действия. Например, для работы с Вордстат нужно быть авторизованным:
Кроме этого, Яндексу не нужны толпы ботов, создающие нагрузку на сервера — поэтому, если запустить быстрый сбор с одного аккаунта и IP, то очень скоро начнут прилетать капчи, а рано или поздно аккаунт и IP просто забанят. Чтобы этого избежать:
- не используйте основной аккаунт
- не используйте основной IP
- создайте отдельные аккаунты Яндекс для парсинга
- арендуйте прокси, 1 аккаунт = 1 прокси
- добавьте сервис распознавания капчи
- задайте адекватные задержки между запросами
Аккаунты Яндекса должны быть активированы в Директе. Для этого после создания аккаунта перейдите в интерфейс директа — будет показана форма регистрации.
В ней обязательно нужно указывать номер телефона — можно либо указать свой (на 1 номер можно добавлять до 10 аккаунтов), либо использовать сайты с виртуальными номерами. На некоторых из них есть бесплатные публичные номера для приема SMS — они то нам и нужны.
После активации добавьте аккаунт в настройках Key Collector, укажите данные его телефона, прокси-сервера и запустите проверку аккаунтов — он должен нормально авторизоваться, «проблемные» аккаунты подсветит красным.
С новым прокси может не авторизоваться при первой попытке и вернуть ошибку (отслеживайте в журнале выполнения).
У меня самый быстрый вариант решения этой проблемы был - авторизоваться с прокси вручную через браузер. Яндекс запросит капчу и возможно ответы на контрольные вопросы аккаунта.
В Firefox есть возможность настроить прокси в самом браузере:
В итоге алгоритм такой:
- арендуем прокси
- создаем аккаунт Яндекс
- активируем аккаунт в Я.Директе
- задаем прокси в настройках браузера
- заходим в режиме инкогнито или «чистом» браузере
- авторизуемся в нужном аккаунте
- отвечаем на вопросы
- задаем эту же пару аккаунт - прокси в KeyCollector
- проверяем авторизацию
Прокси
Прокси сервер — упрощенно, это промежуточное звено между вашим компьютером и просматриваемым сайтом. Вы подключаетесь к Серверу 1 (прокси), который делает запрос к Серверу 2 (Яндексу), и возвращает вам ответ. При этом Сервер 2 (Яндекс) не знает о вашем существовании — он видит только Сервер 1 (прокси).
Нам это нужно, чтобы запросы к Яндексу поступали с разных IP адресов — тогда непосредственно к Вам и вашему IP «претензий» не будет. Арендовать прокси можно:
- proxy-store.com
- proxys.io
- proxy.market (держу там несколько постоянных)
Нужны Российские серверные IPv4 (потому что IPv6 Яндекс не поддерживает). По правам доступа есть индивидуальные и Shared — к первым доступ будет только у Вас, ко вторым у еще нескольких пользователей. Если собираетесь парсить часто и много — лучше взять индивидуальные. Если иногда или вообще разово — подойдут и Shared, тем более они сильно дешевле.
По поводу количества аккаунтов и прокси. Безопасно делать примерно 1 запрос в минуту с одного аккаунта, собирая по 40 ключей за раз.
Таким образом, за час соберутся частотности по 2400 запросам. Дальше все зависит от того, сколько у вас денег и насколько вы торопитесь — можно терпеливо ждать с 1 аккаунтом (но при большом объеме он тоже под угрозой бана), а можно бахнуть 100 разом.
Антикапча
Периодически Яндекс все равно будет выкидывать капчу. Чтобы не заморачиваться с ее вводом вручную, можно использовать rucaptcha.com — цена на 1000 ответов в среднем 40 рублей. Недавно собирал частотности на 3000 запросов через 3 аккаунта — капча вылезла около 17 раз, то есть я бы потратил 0,68 рубля.
XMLRiver
У Яндекса есть такая замечательная штука - Яндекс XML. Упрощенно говоря, вы получаете ту же самую поисковую выдачу, только в виде структурированного XML кода. Это быстрее и проще, но на эти запросы есть лимиты, причем довольно сжатые.
Один из сервисов, который по сути продает эти лимиты — xmlriver.com. Также он предоставляет доступ к Вордстат. Мы авторизуемся в сервисе, получаем URL адрес для подключения с секретным ключом:
Заходим в KeyCollector и добавляем этот адрес в настройки:
Теперь доступен сбор и через XML River. С одной стороны, через него вы платите больше, но не паритесь с настройкой аккаунтов, авторизацией, банами — поэтому выбирайте сами.
Настройки завершили, поехали дальше.
Парсинг
После этого парсим левую колонку Вордстат по оставшимся запросам.
Парсинг левой колонки Вордстат через XMLRiver осуществляется через специальную кнопку в меню:
Почему-то по умолчанию установлен сбор 0 страниц и фраз 0 частотности — нужно зайти в настройки и поставить 41 и 9999999 (вбейте кучу 9, она сам обрежет) соответственно.
3 — Чистим мусор
Теперь нужно удалить дубли и нерелевантные запросы, чтобы не платить за сбор частотностей по ним.
В Key Collector удобно минусовать слова прямо в списке запросов и сразу сохранять их в наборы, чтобы потом при добавлении новых фраз быстро удалять лишний мусор. Есть 2 способа:
Минусация в списке запросов
В таблице запросов зажмите клавишу W. Цвет столбца запросов должен стать желтоватым, а слова при наведении станут кликабельными.
Можно выбирать минус-слова, просто листая список запросов. Выбранные будут подсвечиваться красным цветом.
Потом нажмите F12 или вызовите контекстное меню правой кнопкой мыши. В списке будут показаны все выбранные слова.
Пометите галочками нужные минус-слова, добавьте в группу минус-слов. По умолчанию в новом проекте уже созданы 2 группы, но можно создать свою:
Затем можно выделить их в таблице и либо удалить, либо перенести в корзину:
Желательно сразу сохранять отобранные минус-слова в группы минус-слов, чтобы при сборе новых запросов из других источников быстро чистить мусор.
Можно создавать отдельные группы под разные тематики, если в проекте много разных сфер, и минус-слова в одной могут быть вполне себе целевыми в другой.
Поэтому лучше создать общую группу минус-слов, которые не нужны 100% — «халява», «бесплатно», «для взрослых» и подобное, а остальное раскидывать по соответствующим группам.
Если у вас есть готовые списки минус слов — их можно загрузить вручную, чтобы уменьшить объем работы.
Минусация в анализе групп
Чтобы ускорить процесс, можно во вкладке "Данные" выбрать пункт "Анализ групп":
Тип группировки «по отдельным словам»:
KC сгруппирует запросы по словам, при этом постарается определить похожие слова. Отсортируйте по убыванию количества запросов в группах:
В этой таблице аналогично можно развернуть группу и выбирать слова из запросов, или же помечать целые группы, а потом добавить все слова из заголовков помеченных групп в минус-слова.
Выделенные — которые вы выделили мышкой, помеченные — которые помечены в 3 столбце с зеленой подсветкой (странно, что нет такой же функции по отмеченным в первом столбце).
Можно и просто удалить выбранные запросы, но тогда у нас не будет набора минус-слов для повторной чистки.
4 — Парсим частотности
После удаления всех дублей и мусора, нужно собирать фразовую частотность запросов. Это позволит определить, какие из них есть смысл использовать при оптимизации сайта, а какие просто пустышки. На всякий случай про виды частотностей:
- широкая — просто запрос
- фразовая — "запрос"
- точная — "!запрос"
Также можно использовать и точную частотность, но, на мой взгляд, существует риск потерять часть ключей при этом, если яндекс в базе вордстат будет хранить не самый частотный запрос. Разница между ними не супер существенная.
Существует несколько способов быстро собрать частотности в Key Collection: через аккаунты Яндекс Директ или API XML River.
Парсинг частотностей через Директ
В этом варианте Кей коллектор делает запросы к инструменту прогноз бюджета Яндекс Директа. Явный плюс способа, что за один запрос к сервису собирается сразу 40 частотностей.
Для этого способа понадобятся аккаунты Яндекс Директ, прокси для них и сервис антикапчи, настройку которых рассматривали выше.
Парсинг частотностей через XMLRiver
Можно парсить также через XMLRiver - этот сервис открывает доступ к Яндекс XML и вордстат через API.
Недостаток в том, что в самом Кей Коллекторе собрать фразовые частотности через XMLRiver нельзя. Нужно сохранить список запросов в текстовый файл, загрузить его в приложение xmlriver, собрать частотности и после этого импортировать обратно в Кей коллектор. Такие вот танцы с бубнами.
5 — Парсим подсказки
На этом этапе мы расширяем семантику запросами, которые могли еще не попасть в статистику вордстат, но при этом используются реальными пользователями.
Помните выше смотрели вручную поисковые подсказки — списки запросов под результатами поиска? Вот теперь пришло время подойти к вопросу серьезно и собрать их массово.
Для этого выбираем самые популярные запросы по фразовой частотности и запускаем по ним сбор поисковых подсказок.
6 — Чистим мусор
Из подсказок наверняка снова соберется куча нерелевантных запросов. Дальше будем собирать по ним частотности, поэтому снова удаляем дубли и нерелевантные фразы. Используйте сохраненные списки минус-слов.
7 — Парсим частотности
Опять же, из подсказок наберется много нулевых или микрочастотных запросов, а на следующем этапе нам собирать по каждому из них данные поисковой выдачи — поэтому лучше избавиться от лишнего, чтобы сэкономить время и денежку.
Собираем удобным способом фразовые или точные частотности, удаляем все, что меньше целевого значения.
8 — Кластеризация
Кластер — это сгруппированные по смыслу запросы, которые с точки зрения поисковых систем могут быть на 1 странице. В контексте SEO кластер = страница сайта, в контексте KeyCollector кластер = группа запросов.
Зачем нужна кластеризация
Например, есть 2 запроса: «краски для потолков» и «краски потолочные». Сколько страниц нам нужно под них создать? Вроде все понятно — это одна страница.
А вот «краски интерьерные» и «краски для внутренних работ» — это одна или две отдельные страницы? С точки зрения каталога — одна. Но SEO — это оптимизация не для каталога, а для поисковых систем. Поэтому смотрим с точки зрения Яндекса:
Если будут 3-4 одинаковые страницы — повод задуматься, 5 и более — однозначно в один кластер.
Если этого не делать, то:
- либо упускаем возможности более точной оптимизации 2 отдельных страниц под их конкретные запросы
- либо создаем лишние страницы, на оптимизацию которых нужно время (деньги), а они будут перебивать друг друга в поиске, потому что для Яндекса это смысловые дубли
И вот примерно такой алгоритм проверки нам нужно провести со всеми собранными запросами 😀. Понятно, что вручную это делать на большом объеме слишком долго, поэтому используем снова инструментарий KC:
- соберем ТОП-10 поисковой выдачи по запросам
- сгруппируем по поисковой выдаче
- проверим корректность вручную
Приступим.
Собираем поисковую выдачу
И снова нам нужны будут либо аккаунты, прокси и антикапчи, либо XMLRiver. Сначала проверим настройки программы.
- Задержки — безопасный режим
- Кол-во потоков — сколько у вас аккаунтов с прокси
- Использовать основной IP — нет
- Результатов на странице — 10
- Режим обращений — напрямую или XML (аккаунты или XMLRiver)
- Задать свой API URL — если через XMLRiver
- Потоков XMLRiver — 10
Запускаем сбор данных поисковой выдачи по Yandex:
В настройках проверьте — 10 позиций, регион и язык:
В итоге получаем собранную по запросу поисковую выдачу:
Кластеризуем
Используйте инструмент Анализ групп, с группировкой по поисковой выдаче.
В интерфейсе отобразятся сгруппированные примерно по тому же принципу, который мы разобрали выше, запросы, из которых можно создавать группы в дереве групп.
Качество такой кластеризации само собой ниже, чем ручной. Поэтому желательно проверить все группы на корректность — некоторые фразы нужно будет перенести или вообще создать отдельный кластер.
Скоринг
Скоринг семантики — это процесс приоритезации кластеров по соотношению их популярности к конкурентности. Простым языком — нам нужно выбрать страницы, по которым маленькая конкуренция, но адекватная популярность, и работы по ним быстро дадут трафик. Про это наверное следует написать отдельную статью.
Итог
Имеем разбитые по группам поисковые запросы. Можно сразу составить под них URL адреса.
Фразы для проверки позиций можно вынести в отдельный файл, либо пометить в текущем файле тегом или маркером.
Желательно каким-то образом помечать каждую группу, например по ID страницы в CMS, чтобы потом можно было открыть файл и быстро найти нужные запросы.
Вроде все основные вопросы разобрали, спасибо за внимание!
Комментарии (0)