Парсинг Google (и Яндекса, заодно) без банов и проксей
Приветствую, Уважаемые. В этой статье я расскажу как парсить базы ссылок из ПС Google (и Яндекс, заодно) вообще без головной боли: проксей, банов и т.д
На самом деле, уже очень давно есть возможность парсить главные ПС без особых заморочек, разве что, придется чуть заплатить за свое спокойствие. Я считаю, что 20 рублей за 1000 запросов это неслыханно дешево в реалиях 2020 года.
И так, знакомьтесь: 2 сервиса для парсинга ПС Гугл и Яндекс через XML.
https://xmlstock.com/ и https://xmlriver.com
Эти сервисы дают возможность парсить Яндекс(уже давно) и гугл посредством их API, и в теории собрать за 20 рублей 100 000 ссылок из каждой ПС.
XMLSTOCK:
Пополняем сервис на нужную сумму.
Можно настроить параметры парсера Google в самом сервисе.
Добавим в engines.ini следующий шаблон:
Все настройки можно посмотреть тут на странице.
Для Яндекса, все немного сложнее:
- Идем арендовать аккаунт.
- Покупаем (вам обойдутся 7 рублей/1000 лимитов) в аренду парочку.
- Добавляем шаблон в свой engines.ini ссылку в формате : https://yandex.ru/search/xml?user=Тут имя пользователя&key=тут его айди
Все настройки можно посмотреть у себя в Яндекс.XML
Добавим в engines.ini следующий шаблон:
XMLRIVER:
Идем на сервис и пополняем сервис на нужную сумму.
Ну а дальше, согласно мануалу, подбираем нужные GET парметры для нашей ссылки:
Добавляем простые шаблоны для парсинга Google И Яндекса, заодно, в наш engines.ini:
Материалы статьи:
На всякий пожарный, файл настроек hrefer.ini. Он стандартный и все же, пусть будет.
Архив изображений, используемых в статье.
Видео демонстрация:
Какие то моменты могут отличатся, но суть будет понятна.