Игнорирует ли кнопка Google +1 директивы файла robots.txt? Этот вопрос задал один из западных вебмастеров
По словам представителей поисковика, +1 взаимодействует с robots.txt и другими директивами в интересной форме. Данная кнопка может быть установлена на любых страницах, в том числе и на закрытых для индексирования. В тот момент, когда пользователь нажимает на +1, Google может зайти на страницу, чтобы выяснить, является ли она публичной. Эта проверка игнорирует директивы, однако никак не влияет на поведение поисковых роботов и на то, как они взаимодействуют с файлом robots.txt.
Данный вопрос, заданный западными вебмастерами, представляется вполне актуальным в России в свете недавних скандалов, связанных с утечкой данных пользователей. Яндекс.Метрика, действуя подобно кнопке +1, передавала адреса страниц, которые стали ей известны, роботу поисковика. Так как страницы не были запрещены для индексации, то они оказались в выдаче Яндекса. Поэтому в наши дни, когда количество счетчиков и кнопок (вроде +1) постоянно растет, вебмастерам следует быть особенно внимательными и не забывать о файле robots.txt.