Проблема решена, или не стоит пренебрегать правильным robots.txt

   Рубрика: WordPress Поисковые системы


В общем-то коротко, удалось побороть неправильную индексацию страничек Яндексом, причем понадобилось банально внести 2 строчки в robots.txt. Уж сколько раз твердили миру…

Решилась проблема действительно просто, нужно было запретить к адреса, вида seo-newbie.ru/?p=750, то есть с параметром p. Сделал я это следующим образом:

Disallow: /*?
Disallow: /*?*

И прошло два апа, и все правильные странички вернулись в индекс, и в GGL опять 100% индексация. Так то!

Всё просто и банально, спасибо товарищу GRAYSTONE, за то что навел на правильные мысли.

А между тем у нас в Марий-Эл стоит дикая жара, и горят леса, да так, что смог заслоняет солнце. В моей комнате с компом температура далеко за 30, на подоконниках оседает пепел и отличный запах гари сводит на нет все мои попытки начать нормально работать в августе. Будем ждать, продуктивности никакой.

В рамках обмена постовыми представляю создание Drupal сайтов. Иногда стоит доверить создание сайта другим людям :)

Постовой. Советую вам посетить сайт http://rosblok.ru/, если вам нужны качественные пеноблоки. Не забывайте — пенобетон — намного надежнее обычного кирпича.

тайный покупатель - подробное описание здесь

Похожие записи:

  • olg

    Привет.
    Читаю по РСС — решил зайти — кинуть тебе свой роботс — его по кускам собирал на серче, мауле и еще де то.. :)

    User-agent: *
    Disallow: /redirect/
    Disallow: /author/
    Disallow: /wp-admin/
    Disallow: /wp-includes
    Disallow: /category/
    Disallow: /category/*/*
    Disallow: /page/
    Disallow: /?feed=
    Disallow: /?s=
    Disallow: /xmlrpc.php
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: */comments
    Disallow: */comment-page*
    Disallow: /*trackback
    Disallow: /*feed
    Disallow: /author*
    Disallow: /*?*
    Disallow: /*?
    Disallow: /?*
    Disallow: */feed
    Disallow: /feed
    Disallow: */trackback
    Disallow: /tag/*/page
    Host: seo-newbie.ru —– тут твой адрес уже закинул

  • Kareg

    Спасибо, думаю пригодиться не только мне :)

  • Yury

    поосторожнее нужно), а то в этом теги, категории запрещены. я бы добавил директиву sitemap для яндекса отдельно и crawl-delay чтобы если много страниц бот поисковый не перегружал сервер

  • Kareg

    Теги и категории у меня тоже запрещены, так и должно быть, только это у меня сделано с помощью плагина.

  • deBrain

    А какая разница плагином запретить или в роботс прописать?

  • Yury

    та никакой) просто будьте осторожны, копируя роботсы чужие. вдумчиво смотрите что и как

  • SeoDelo

    Отличный робот.тхт, не хватает только sitemap и запрета папки с картинками (если они копи-паст)…

  • alpinek

    C чужими роботсами нужно быть предельно осторожными. Однажды я, на собственном опыте это прочувствовал, когда недоглядел парочку директив, нужно ли говорить, каких мне трудов потом стоило разгрести ситуацию.

  • Трофим

    Спасибо за пост, натолкнул на мысль еще раз пересмотреть роботс…может что интересное там упустил…

  • html-er

    Добавляю еще такую строку
    User-agent: TinEye
    Disallow: /
    TinEye позволяет находить в интернете изображения, похожие на изображение-образец.

  • haserk

    Я на роботс вообще не обращаю внимания, вроде все норм индесируется.

  • Scinner

    Спасибо за полезный материал. Скажите а как Яндекс относится к дублированию контента в рамках одного сайта? Стоит ли закрывать в роботс разделы, где контент дублируется?

  • Kareg

    Да, несомненно стоит.

  • seo-monster

    Раньше боялся, что из-за неправильного роботса мои сайты под АГС попадут. Но потом решил и вовсе отказаться от роботса файла, и по отзывам многих на серче, ничего страшного из-за его отсутствия не произойдет.

  • Kareg

    Причем тут отзывы? роботс в каждом конкретном случае может понадобиться в разной степени. Вот как случилось у меня например. И чтобы я без него делал? :)

  • Вадим

    Спасибо автору за дельные советы. Обязательно воспользуюсь!

  • Valera

    Подскажите, что считается дублированием контента? Например, на сайте к одному и тому же материалу можно добраться разными путями, это дублирование или нет? или дублирование — один и тот же материал, но на разных страницах сайта? проясните ситуацию… хотя пока писал этот комментарий уже понял :))) Спасибо.

  • Leeto

    Я пользуюсь robots.txt от ucoz. Кстати удобнее. Но всё всё равно я под себя модерировал её.

  • ihvar

    Valera, это не дублирование контента, а две ссылки в разных местах. Дублированием было бы две одинковых статьи/куска текста на разных странциах сайта

  • Andrey

    robots.txt несомненно нужен, хотя я раньше тоже не обращал на него особого внимания. А зря.

  • Vlad

    Спасибо большое за статью!
    robots.txt однозначно нужен, даже не представляю как можно делать сайт/без него!
    Хотя раньше, как и Andrey не обращал на него внимания(