Джон Мюллер из Google сказал в Twitter, что лучший способ заблокировать сканирование и индексирование промежуточного сайта – это использование системы аутентификации пользователей.
Запрос на удаление сразу скроет промежуточный сайт в поиске. Использование disallow в robots.txt может по-прежнему приводить к индексации URL (без сканирования) и создавать проблему.
Использование системы аутентификации (имя пользователя / пароль) позволяет избежать случайной загрузки блокирующего метатега robots.txt или robots, а также предотвращает индексацию страниц. В долгосрочной перспективе – это лучшее решение для промежуточных сайтов, – написал он.
Источник: Seroundtable