Совсем недавно исследователи из ИнтерЛабс повторили интересный эксперимент. Они проанализировали состояние файлов robots.txt у сайтов, которые находятся в Яндекс.Каталоге и сверили результаты своей проверки с результатом подобного эксперимента, но двухлетней давности.
Цель исследования была достаточно проста:
- Выяснить уровень технической грамотности у вебмастеров, владеющими сайтами, находящимися в Яндекс.Каталоге.
- Выяснить прогрессируют ли российские вебмастера в профессиональном плане.
Для тех кто не в курсе, robots.txt содержит команды для поисковых роботов, указывающие какие участки сайты индексировать можно, а какие нельзя, это вкратце.
Исследование, с которым вы можете ознакомиться на главной странице searchengines.ru, в целом показало, что уровень грамотности вебмастеров потихоньку растет, но не такими уж и быстрыми темпами.
Файл robots.txt был найдем примерно у 60% сайтов, находящихся в Яндекс.Каталоге. Хотя я отмечу, что для корректной индексации его наличие не всегда обязательно — поисковые системы сейчас вполне умные, и сами могут отбрасывать служебные страницы.
Более плачевна ситуация с файлом sitemap.xml (xml-карта сайта с 2008 года официально поддерживается Яндексом) — этот файл находиться на менее чем 10% сайтов, размещенных в ЯКе.
С другой стороны, оценивать грамотность вебмастеров по сайтам в ЯКе — не самая хорошая идея. Там реально много старых, любительских сайтов, которые совсем не отображают уровень современного вебмастера. Для адекватной картины стоит оценивать топ-10 выдачи Яндекса по нескольким тысячам запросов — так можно будет увидеть адекватную картину происходящего.
В целом же советую всем прочитать концовку исследования, и обратить внимание на robots.txt у сайта last.fm — сразу видно вебмастера с юмором.
Кстати, советую обратить внимание на продажу бытовой химии оптом по ооочень приятным ценам. Многим может пригодиться.