2 Апреля 2024, в 11:25

Как закрыть сайт от индексации: основные способы

22 Февраля 2024, в 15:13

Дзен запретил краулеру OpenAI собирать данные со своей платформы

22 Июня 2021, в 10:46

Google обновил документацию по robots.txt и структурированным данным

10 Марта 2021, в 13:28

Google: для деиндексации страниц из поиска используйте noindex, а не robots.txt

11 Ноября 2019, в 13:49

Google: не используйте robots.txt, чтобы заблокировать индексацию URL с параметрами

8 Ноября 2019, в 10:47

Google: как заблокировать индексацию файлов Robots.txt и Sitemap

3 Сентября 2019, в 10:33

WordPress изменит подход к запрету индексации сайтов

30 Августа 2019, в 15:29

Google напомнил, что прекращает поддержку noindex в robots.txt с 1 сентября

29 Июля 2019, в 16:39

Search Console напоминает удалить тег noindex из robots.txt

11 Июля 2019, в 11:10

Джон Мюллер: как ранжируются страницы, заблокированные robots.txt

2 Июля 2019, в 12:04

Google решил сделать протокол REP для robots.txt официальным стандартом

22 Апреля 2019, в 10:25

Google планирует полностью отказаться от директивы noindex в robots.txt

21 Февраля 2018, в 12:42

Индексация любой ценой: проверяем все до мелочей

10 Июня 2016, в 15:02

Яндекс рассказал об изменениях в обработке robots.txt

13 Января 2016, в 13:00

Энциклопедия интернет-маркетинга: составляем корректный robots.txt своими руками

6 Января 2016, в 13:50

Google рассказал, как ускорить индексацию robots.txt

12 Марта 2015, в 13:20

Google Webmaster Tools поможет разблокировать ресурсы

27 Февраля 2015, в 16:27

Почему robots.txt не работает

17 Июля 2014, в 12:46

Новый инструмент тестирования robots.txt в Google Webmaster Tools

1 Июля 2014, в 14:54

Robots.txt исполнилось 20 лет