2 Апреля 2008 в 01:04

Не знаете, как составить файл robots.txt?

4 1856

Google Webmaster Central анонсировал новый инструмент Robots.txt Generator. Это своего рода переводчик на язык robots.txt, который поможет тем, у кого создание данного файла вызывает трудности. Теперь чтобы запретить или разрешить индексацию элементов сайта, их нужно просто указать в Robots.txt Generator. При желании можно прописать определенные условия для файлов robots.txt тех или иных страниц/разделов сайта.

Написанный файл можно проверить с помощью специального анализатора robots.txt analysis tool. После этого нужно сохранить созданный файл в корневом каталоге сайта. Robots.txt Generator создает файлы, которые будут понятны Google-боту и большинству других крупных роботы. Но есть вероятность, что некоторые роботы не поймут всех функций robots.txt, которые использует генератор.

Следует помнить, что встречаются и недобросовестные роботы, которые игнорируют содержание файла robots.txt и сканируют все закрытые от индексации элементы сайта. В этом случае контент сайта нужно защитить паролем и не полагаясь на robots.txt.

Отметим, многие вебмастера отмечают полезность сервиса Google Webmaster Central. Здесь можно посмотреть, по каким запросам находят сайт, на каких он позициях в выдаче и по каких запросам больше всего переходят на сайт. «"Популярные поисковые запросы" и "Популярные запросы с кликами" в статистике отличаются (+ можно уточнять по типу поиска, региону и дате) и эти отличия наводят на интересные мысли - попробуйте сами и вам понравится», - говорит известный блогер Дмитрий Голополосов (aka Dimok).

4 комментария
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
  • Ярослав Домбровский
    834
    комментария
    0
    читателей
    Ярослав Домбровский
    больше года назад
    Олег, ну ка ну ка, о вашем роботе поподробнее...
    -
    0
    +
    Ответить
    Поделиться
  • Олег Сахно
    483
    комментария
    0
    читателей
    Олег Сахно
    больше года назад
    Робот, например, вот для этих целей:

    https://www.seonews.ru/analytics/
    http://www.4p.ru/main/research/25583/

    Да мало ли, чего можно индексировать в нашем многострадальном интернете ;)
    -
    0
    +
    Ответить
    Поделиться
  • Гость
    больше года назад
    >>Следует помнить, что встречаются и недобросовестные роботы, которые игнорируют содержание файла robots.txt и сканируют все закрытые от индексации элементы сайта. В этом случае контент сайта нужно защитить паролем и не полагаясь на robots.txt.

    чё за бред? впервые слышу
    -
    0
    +
    Ответить
    Поделиться
  • Олег Сахно
    483
    комментария
    0
    читателей
    Олег Сахно
    больше года назад
    >чё за бред? впервые слышу

    Это вы о чем говорите? Не верите в наличие недобросовестных роботов? Мой робот, например, не обращает внимание на robots.txt и индексирует то, что считает нужным. Вот Вам пример недобросовестного робота, который описан в новости
    -
    0
    +
    Ответить
    Поделиться

Отправьте отзыв!
X | Закрыть