Теги:
Robotstxt – это студийный проект, целью которого было объединить разрозненную информацию о стандарте исключения веб-роботов, с акцентом на русскоязычные поисковые роботы. Сайт содержит переводы материалов одноименного сайта Мартина Костера . Российский проект полностью открыт для пользователей. Любой специалист в области продвижения и поддержки сайтов может вносить дополнения или делать необходимые поправки в текстах сайта.
«В Рунете, к сожалению, информация о файле robots.txt весьма разрозненная и неполная. И вот, в конце апреля, меня посетила простая мысль - почему бы не собрать переводы и прочую информацию об индексации сайтов и индексирующих роботах, в частности о robots.txt, на одном сайте. Меня поддержали», - комментирует один создателей проекта Дмитрий Атабеков (aka "Ctulhu").
Сейчас на сайте представлены следующие разделы: ЧаВо по веб-роботам (часто задаваемые вопросы о веб-роботах); Стандарт исключения роботов (как управлять Роботами, которые посещают веб-сайт); Роботы Рунета; Частые ошибки в robots.txt ; Ссылки по теме (аналог оригинального раздела “WWW Robots Related Sites”).
Накануне в Рунете появился интересный проект – сайт , , который содержит информацию о стандарте на robots.txt и другие статьи о написании корректных веб-роботов.