Файл sitemap.xml, так же, как и обычная карта сайта представляет из себя набор страниц, оформленных в XML-теги. С помощью данного файла, поисковые системы понимают, какие страницы вашего сайта следует индексировать в первую очередь.
Обычная HTML карта сайта:
http://www.apple.com/ru/sitemap/
Карта сайта в формате XML:
http://www.apple.com/sitemap.xml
У каждого варианта есть свои плюсы и минусы. Ключевое преимущество карты сайта в формате XML — исключение возможности размытия статического веса страниц внутри сайта.
В этой статье я расскажу вам как составить корректный файл Sitemap.xml.
Если вы уже знаете все про составление Sitemap, сразу переходите к последней главе, которая называется «Фишки».
1. Директивы файла sitemap.xml
Существуют 3 обязательных директивы, которые должны быть заполнены в любом случае, это теги:
А также 3 необязательных тега:
Вот памятка по расшифровке каждого тега из официального сайта http://www.sitemaps.org/ru/protocol.html:
|
Атрибут |
Статус |
Описание |
|
обязательный |
Инкапсулирует этот файл и указывает стандарт текущего протокола. | |
|
обязательный |
Родительский тег для каждого URL-адреса. Остальные теги подчинены этому тегу. | |
|
обязательный |
Сам URL-адрес страницы. Всегда начинается с префикса (например, HTTP) и заканчиваться косой чертой (если сервер вашего сайта требует этого). Внимание: длина URL-адреса не должна превышать 2048 символов. | |
|
необязательный |
Дата последнего изменения файла. Указывается строго в формате W3C Datetime. Он позволяет при необходимости не учитывать сегмент времени и использовать формат ГГГГ-ММ-ДД. | |
|
необязательный |
Позволяет указать как часто меняется информация на странице. Это значение устанавливается приблизительно. Допустимые значения:
Если страница изменяется каждый раз, когда ее открывают — используем значение «always» (всегда). Если это архивная страница — ставьте never (никогда). Учтите, что этот атрибут служит для поискового робота подсказкой, а не правилом. Поэтому зависимости между ним и реальной частотой посещения страницы поисковым роботом нелинейная. | |
|
необязательный |
Позволяет указать приоритет одних страниц вашего сайта перед другими. Диапазон значений — от 0,0 до 1,0. По умолчанию каждой странице отдается приоритет 0,5. Значение атрибута работает для сравнения приоритета страниц только внутри вашего сайта. То есть оно не влияет на сравнение вашего сайта с сайтами конкурентами в поисковой сети. Более того, выставлять всем страницам максимальный приоритет тоже бессмысленно. Потому что тогда значения будут одинаковыми для робота и атрибут просто не сработает. Так что не ищите лазеек, а указывайте объективные приоритеты для страниц. |
Сохраните эту памятку. Она обязательно пригодится вам в первое время. Стоит отметить еще один плюс XML-карты сайта – это гибкость. Гибкость заключается в сочетании разных необязательных директив.
Теперь, когда у вас есть ясность, что такое XML-карта сайта и вы узнали основные директивы этого файла, можно перейти к его составлению.
2. Составление файла sitemap.xml
Составлять карту сайта можно 3 способами:
- Вручную;
- Автоматически, с помощью специальных сервисов;
- Автоматически, с помощью готовых решений в виде плагинов к CMS и т.п.
Процесс приготовления карты сайта следующий:
- Составляем карту сайта одним из способов, перечисленных выше;
- Проверяем на валидность с помощью сервисов поисковых систем (https://webmaster.yandex.ru/sitemaptest.xml);
- Размещаем файл на сайте;
- Указываем путь к карте сайта для поисковых роботов в файле robots.txt (Кстати, есть отдельная статья о том, как правильно составить файл robots.txt);
- Указываем Sitemap в панели вебмастеров Яндекс и Google.
Итак, как составлять файл карты сайта?
Разберем пример составления файла вручную. Если вы хотите добавить в карту сайта 5 страниц вашего сайта:
- http://site.ru/url-o_kompanii/
- http://site.ru/url-uslugi/
- http://site.ru/url-produkty/
- http://site.ru/url-dostavka/
- http://site.ru/url-kontakty/
Вот так должна выглядеть карта сайта в формате XML:
|
|
При необходимости добавляем необязательные теги из памятки, которую я привел выше. Дополнительные теги прописываются в контейнере
|
|
Приведенный выше код, указывает поисковой системе, что страница http://site.ru/
в последний раз изменилась 1 января 2005 года. Обновляется с частотой раз в месяц. И приоритет у данной страницы 0.8 (максимально возможный 1).
Рекомендую пользоваться текстовыми редакторами, которые поддерживают синтаксис языка XML, например, Notepad++. Вот так выглядит XML-код в данном редакторе:
Особенно удобен функционал подсветки парных тегов.
Сервисы для генерации Sitemap
В случае, если на вашем сайте много полезных страниц и вы не хотите тратить время на составление файла вручную, то вам помогут следующие сервисы:
Таких сервисов много. Я использую https://www.xml-sitemaps.com/.
Поясню вкратце все настройки:
Поисковая система Google рекомендует использовать https://code.google.com/archive/p/sitemap-generators/wikis/SitemapGenerators.wiki
Плагины для CMS
Существует огромное количество плагинов и готовых решений для систем управления сайтов. Например:
|
CMS |
Плагин |
|
Wordpress | |
|
Bitrix | |
|
Joomla | |
|
ModX |
Валидность
После составления карты сайта нужно проверить ее на наличие ошибок. Для проверки используйте сервис https://webmaster.yandex.ru/sitemaptest.xml
После успешной проверки заливаем наш файл на сайт.
Расположение файла
В отличие от файла robots.txt, файл sitemap.xml может располагаться в любом месте вашего сайта. Например, в корневой папке сайта файл будет доступен по следующему адресу:
Если вы разместили файл в папке /files/, то он будет доступен по такому адресу:
После успешной загрузки файла, обязательно укажите поисковым роботам как найти этот файл. Делается это очень просто. В файле robots.txt (подробная инструкция по составлению) в директиве Sitemap пропишите полный адрес к файлу. Например, файл robots.txt может выглядеть следующим образом:
http://www.apple.com/robots.txt
Важно! В отличии от robots.txt файлов Sitemap может быть несколько. В таком случае необходимо указывать в robots и вебмастерах полный адрес ко всем файлам Sitemap.
Search Console и панель Яндекс.Вебмастера
Остался последний этап. Указать путь к карте сайта в панелях вебмастеров поисковых систем.
В Search Console (панель вебмастера Google):
- Сканирование
- Файлы Sitemap
- Добавление/Проверка файла Sitemap
В панели Яндекс\.Вебмастер:
- Настройка индексирования
- Файлы Sitemap
- «Проверить» и «Добавить»
Следует отметить ограничения в XML-карте сайта:
- В одном файле можно указать не более 50000 URL-адресов
- Вес файла не более 10 мегабайт (поисковые системы не индексируют документы, превышающие размер в 10 мегабайт). При необходимости файл можно сжать с помощью архиватора .gzip.
- Кодировка файла только в UTF-8
На этом основные этапы завершены. Следуйте всем описанным простым правилам и ошибок у вас не будет. Вторая часть статьи посвящена более детальной настройке, тонкостям и особенностям sitemap.xml эти знания потребуются вам для составления профессиональной карты сайта для интернет-магазинов.
3. Группировка файлов Sitemap
В случае превышения лимита в 50000 URL-адресов, нужно использовать вложенную структуру и создать группу из нескольких Sitemap. То есть создавать карты сайта в карте сайта!
Для обычного сайта (не крупного портала или интернет-магазина) такой объем страниц редкость, поэтому группировку Sitemap большинство SEO-специалистов используют для удобства, например, для группировки страниц товаров или разделов.
Синтаксис выглядит следующим образом:
|
|
Определение XML-тегов:
|
Атрибут |
|
Описание |
|
обязательный |
Инкапсулирует информацию о всех файлах Sitemap в этом файле. | |
|
обязательный |
Инкапсулирует информацию об отдельном файле Sitemap. | |
|
обязательный |
Указывает местоположение файла Sitemap. | |
|
необязательно |
Указывает время изменения соответствующего файла Sitemap. Робот использует эту информацию, чтобы понять в каких файлах Sitemap произошли изменения. Косвенно, этот тег позволяет роботу быстрее обнаружить новые страницы сайта. |
Таким образом составляется сгруппированная карта сайта. Все остальные процедуры те же, что описаны выше. Не забываем указывать в файле robots.txt, в директиве Sitemap, корректную ссылку на ваш файл.
Как это реализовано на практике можно посмотреть в интернет-магазине «Ozon» http://www.ozon.ru/SitemapIndex.xml
4. Исследование
В конце 2014 года я провел небольшое исследование по анализу эффективности наличия на сайте файла sitemap.xml.
Наблюдалась проблема индексации товарной группы на сайте интернет-магазина (товаров порядка 10000). При этом, ничего не препятствовало их индексации. Был составлен файл карты сайта, состоящий только из ссылок на товары сайта. Карта сайта обновлялась автоматически. За 2 месяца в индексную базу поисковой системы Яндекс попало более 70% URL-адресов. Большая доля страниц, попавших в индекс, это страницы из карты сайта. Отмечу, что в данный период не проводились другие мероприятия по ускорению индексации сайта (например, простановка ссылок).
Вот сами результаты:
Вывод: карта сайта до сих пор влияет на индексацию вашего сайта. Необходимо регулярно обновлять и актуализировать данный файл.
5. Фишки
Чтобы статья не получилась скучной для опытных SEO-специалистов, предлагаю вам ознакомиться со следующими «фишками».
Картиночный сайтмап
Для привлечения дополнительного трафика из поисковых систем (возможно не совсем конверсионного) вы можете составить дополнительный Sitemap для картинок.
Синтаксис для картиночной карты сайта выглядит так:
|
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"> |
Памятка по XML-тегам:
|
Тег |
Обязательно? |
Описание |
|
|
Да |
Содержит всю информацию об одном изображении. Каждый URL (тег |
|
|
Да |
URL изображения. В отдельных случаях домен URL изображения может отличаться от домена, используемого основным сайтом. Если оба домена подтверждены в Search Console, проблем при этом не возникнет. Но если картинки размещены с помощью системы управления контентом, например, сервиса Google Сайты, вам необходимо подтвердить сайт хостинга в Search Console. Кроме того, файл robots.txt не должен запрещать сканирование содержания, которое необходимо индексировать. |
|
|
Нет |
Подпись к изображению. |
|
|
Нет |
Место съемки. Например, |
|
|
Нет |
Название изображения. |
|
|
Нет |
URL лицензии изображения. |
Лайфхак для тех, кто дочитал
Многие SEO-специалисты генерируют файлы Sitemap один раз на старте проекта. Дальше про карту сайта забывают. Проиндексировались страницы — хорошо. Нет — а что поделать?! Новые страницы вообще забывают вносить в sitemap.
В ходе своего исследования я выяснил, что наиболее удобным способом решения этой проблемы является отдельный файл sitemap.xml, в котором будут только те страницы сайта, которые еще не попали в индекс.
И именно это позволило вогнать в индекс Яндекса более 70% новых URL-адресов.