Совсем недавно исследователи из ИнтерЛабс повторили интересный эксперимент. Они проанализировали состояние файлов robots.txt у сайтов, которые находятся в Яндекс.Каталоге и сверили результаты своей проверки с результатом подобного эксперимента, но двухлетней давности.

Читать далее »