Руководитель отдела по борьбе с поисковым спамом Google Мэтт Каттс разместил у себя в Twitter сообщение, что многие новостные сайты недавно должны были заметить спад в статистике сканирования в Инструментах для веб-мастеров Google.
Для тех, кто его не заметил, Мэтт Каттс советует не беспокоиться. Недавно Google Новости начали поддерживать заголовок if-modified-since, что и является причиной изменений в сканировании. Мэтт также добавил, что статистика Google Новости стала намного эффективнее.
Барри Шварц проверил статистику для портала seroundtable.com и заметил, что она значительно снизилась в марте 2014 года:
Вот его твиты:
If you have a news site and it looks like Google is crawling less since ~3/7, don’t worry. Google News added if-modified-since support then.
— Matt Cutts (@mattcutts) 8 апреля 2014
So it’s just Google News doing smarter crawling now. More info about if-modified-since: http://t.co/1TrtFVnypD
— Matt Cutts (@mattcutts) 8 апреля 2014