1.
2.
3.
4.
5.
1. Введение
Количество ресурсов, проиндексированных поисковыми системами, постоянно растет. Чтобы ресурс мог попасть в базу поисковой системы, поисковику, как минимум, необходимо сообщить о существовании вашего ресурса. Узнать о нем поисковик может, если вы зарегистрируетесь в поисковой системе, либо перейдя на ваши страницы по ссылке с ресурсов, уже проиндексированных системой. После этого поисковый робот будет время от времени возвращаться на ваши страницы, обновляя информацию о них. Постоянная индексация ресурса – один из важнейших элементов в работе поисковых систем. Но здесь могут возникнуть некоторые сложности.
О том, как помочь поисковым машинам регулярно посещать сайт, пойдет речь в данном мастер-классе. Мы постараемся охватить все аспекты этого процесса, рассмотрев способы управления индексацией страниц сайта.
2. Управление индексацией при помощи файла robots.txt
Файл robots.txt, который находится на сервере, сообщает поисковым роботам, какие файлы им следует индексировать, а какие нет.Robots.txt состоит из записей. Каждая запись – как минимум из двух строк: строки с названием клиентского приложения – User-agent, и одной или нескольких строк, начинающихся с директивы Disallow. Пустые строки в файле robots.txt являются значимыми, они разделяют записи, содержащие разные строки.
User-agent
Служит для указания робот какой поисковой системы не должен индексировать следующие странцы:
Символ подстановки «*» используется в случае, если надо запретить индексацию страниц для роботов всех поисковиков:
User-agent: *Disallow
Директива, сообщающая роботу, какие файлы и/или папки запрещено индексировать.
Например, запрет индексировать и файл «catalog.html», и папку «catalog» выглядит следующим образом:Disallow: /catalog
Если директива Disallow пустая, это значит, что робот может индексировать все файлы. Одна директива Disallow должна присутствовать для каждого поля User-agent как минимум, чтобы robots.txt был корректно воспринят поисковыми системами. Составленный с ошибками robots.txt может спровоцировать некорректную индексацию станиц сайта. Полностью пустой robots.txt означает то же самое, что и его отсутствие на сервере.Правильно составленные robots.txt:
Всем поисковым системам разрешено полностью индексировать сайт:
User-agent: *
Disallow:
User-agent: *
Disallow: /
User-Agent: *
Disallow: /image/
User-Agent: *
Disallow: /image/
Host: www.site.com
3. Мета-теги
С помощью мета-тегов тоже можно управлять индексацией страниц сайта.META-теги должны находиться в заголовке HTML-документа (между тегами
и ). Они имеют два возможных атрибута:< meta http-equiv="имя" content="содержимое">
< meta name="имя" content="содержимое">
NAME
META-теги с атрибутом NAME используются в случаях, когда поля не соотносятся с HTTP-заголовками.
Наиболее полезные МЕТА-теги, которые помогут поисковикам правильно индексировать страницы вашего сайта:
Нет гарантии, что поисковые системы учитывают содержимое мета-тегов, индексируя сайт. Тем более нет гарантии, что эта информация будет учитываться при ранжировании сайта в выдаче. Но мета-теги полезны хотя бы тем, что при индексации страниц позволяют поисковикам получить необходимую информацию о ресурсе.
4. Другие способы.
1) Проблема нерегулярной индексации страниц сайта может быть связана с организацией структуры сайта. Для лучшей индексации страниц их url должен иметь статический или псевдостатический вид.
http://www.site.ru/cat.htm
Значительно хуже индексируются динамические страницы:http://www.site.ru/index.php?option=content&task=view&id=7&Itemid=31
Существует некоторые программные способы, чтобы на запрос динамической страницы выдавать другой (псевдостатический) URL. Но лучше не надеяться на такие методы и изначально формировать полностью статическую структуру своего сайта. Это намного упрощает работу поисковиков, а также улучшает восприятие страниц непосредственными пользователями. В конце концов, статические URL выглядят «эстетичнее» и подчеркивают хороший стиль разработки.2) Существуют системы, с помощью которых происходит управление сайтом – CMS. Такие системы позволяют создать сайт, осуществлять его продвижение, контроль и поддержку.
В основном это платные системы. Чаще всего они содержат такие функции:
3) Многие разработчики при проектировании структуры сайта не учитывают, что поисковики не могут анализировать слишком сложный код.
Например, бесспорно, что флеш-навигация очень привлекательна для пользователей. Но не все поисковики могут пройти по находящимся там элементам.
Приведем несколько советов по организации структуры сайта для лучшей индексации его поисковиками.
5. Заключение
В среде оптимизаторов имеют место многочисленные попытки манипулирования процессами как ссылочного, так и текстового ранжирования. Но все эти действия абсолютно бесполезны, если робот поисковой системы не ходит по страницам сайта. Чтобы не потерять «драгоценную» возможность находится «под крылом» поисковика, оптимизаторы должны следовать всем правилам пользования поисковыми системами, постоянно контролировать их посещаемость, выявлять и устранять проблемы, улучшать структуру сайта, если это не было сделано до выпуска сайта в плавание по Интернету.