Теги:
Когда говорят о внутренней оптимизации страницы, то в качестве одного из важных параметров выделяют размеры страницы и ее перегруженность Java-скриптами и CSS (каскадные таблицы стилей). В данном случае считается, что закрывая элементы лишнего кода (JavaScript, CSS) от индексации в robots.txt, вы существенно облегчаете свою страницу в глазах поисковика.
Мэтт Каттс, руководитель группы Google Webspam, в очередном видеоподкасте рекомендовал оптимизаторам и вебмастерам не запрещать поисковым роботам индексировать эти элементы.
Он пояснил, что индексация JavaScript, CSS дает возможность Google предоставлять пользователям более качественные результаты поиска. В последнее время Google стал значительно лучше обрабатывать и понимать эти элементы, поэтому их индексация Googlebot’ом помогает поисковику лучше понимать содержание страницы/сайта.