Теги:
В течение последних нескольких недель появлялись различные сообщения о том, что Google индексирует собственные результаты поиска, нарушая свое . Так выглядели результаты выдачи до обновления robots.txt:
Согласно руководству, robots.txt используется для того, чтобы предотвратить сканирование страниц поисковой выдачи, не представляющих интереса для пользователей.
Представители компании заявили, что произошедшее является сбоем, связанным с несколькими слешами в веб-адресах, а также что разработчики произвели изменение файла robots.txt в . После исправления ошибки поисковая выдача выглядит так:
