Яндексовский вордстат в последнее время что-то совсем не радует — рвёт и мечет прямо. Началось это примерно месяц назад — вордстат начал активнее выдавать капчу при парсинге поисковых запросов, а потом и вовсе начал банить по IP на сутки особо активных пользователей, не брезгающих несколькими потоками и проксиками. Само собой, что под раздачу попали как оптимизаторы ковыряющие вордстат в промышленных масштабах, так и обычные пользователи, которые только осваивают вордстат в связке с Яндекс.Директом.
Вы, конечно, можете сказать, что можно выдернуть откуда-либо список бесплатных прокси и парсить с помощью них — вариант не всегда проходит. Паблик прокси не всегда хорошее решение само по себе (не самая высокая скорость, публичность, которая приводит к массовому использованию и быстрому бану, и т.д.) , да ещё и вордстат явно обладает каким-то своим алгоритмом вычисления проксей — видимо научился определять их хозяина когда он собирает все похожие ключи подряд.
Но если я скажу, что меня эта ситуация удивляет — то я совру. Я давно ожидал подобного развития событий исходя из стабильности работы вордстата за последние полгода — он регулярно падал от нагрузок парсящих личностей (включая меня). Ну правильно, десяток потоков с минимальными задержками, и это только от одного меня, а имя нам — Легион. Короче, я даже удивлён, что он так долго нас терпел.
Предсказываю дальнейшее ужесточение ситуации и необходимость парсинга через API Яндекс.Директа. Но в данный момент парсить ещё вполне можно — 1 поток, задержки от 15000 мс и вперед. Для своих небольших проектов этого вполне хватает. А вот с клиентскими уже сложнее — ждем прикрутки АПИ от Директа в КейКоллекторе.