AJAX-запросы (то есть XHR) теперь включены в список операций, расходующих краулинговый бюджет. Об этом представитель компании Гэри Илш (Gary Illyes) сообщил в Twitter.
«Я добавил вызовы AJAX/XHR в список вещей, которые могут тратить краулинговый бюджет сайта»
Напомним, Google планирует отказаться от директивы noindex в robots.txt.
Источник: Search Engine Roundtable