Представитель Google Джон Мюллер в видеовстрече для вебмастеров рассказал, как запретить индексацию тестовой версии сайта.
Просмотреть полный ответ можно, начиная с отметки 42:40:
Самым распространенным способом блокировки индексации сайта является использование файла robots.txt. Однако это не самый эффективный способ. По словам Джона Мюллера, при обнаружении ссылки на заблокированную веб-страницу Google может просканировать URL:
Важная часть заключается в том, чтобы никто не ссылался на тестовый сайт. Потому что если мы его не найдем, то не сможем и просканировать.
Джон Мюллер считает, что есть более эффективное решение — использовать аутентификацию:
В идеале вам нужно использовать аутентификацию на стороне сервера, чтобы обычные пользователи при заходе на сайт не могли видеть контент, как и GoogleBot. Вы можете сделать это на основе IP-адреса, с помощью куки или обычной аутентификации на сервере.
Напомним, ранее Джон Мюллер рассказал, что ни один сервис не сможет подсчитать точное количество ссылок на сайтах.
Источник: YouTube