Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
Россия +7 (909) 261-97-71
4 Февраля 2016 в 13:17

Мастер-класс: как составить файл sitemap.xml

Россия +7 (909) 261-97-71
34 40930
Подпишитесь на нас в Telegram
Айрат Рахимзянов
Руководитель направления поисковой оптимизации Реаспект

Файл sitemap.xml, так же, как и обычная карта сайта представляет из себя набор страниц, оформленных в XML-теги. С помощью данного файла, поисковые системы понимают, какие страницы вашего сайта следует индексировать в первую очередь.

Обычная HTML карта сайта:

1.png

http://www.apple.com/ru/sitemap/

Карта сайта в формате XML:

2.png

http://www.apple.com/sitemap.xml

У каждого варианта есть свои плюсы и минусы. Ключевое преимущество карты сайта в формате XML — исключение возможности размытия статического веса страниц внутри сайта.

В этой статье я расскажу вам как составить корректный файл Sitemap.xml.

Если вы уже знаете все про составление Sitemap, сразу переходите к последней главе, которая называется «Фишки».

1. Директивы файла sitemap.xml

Существуют 3 обязательных директивы, которые должны быть заполнены в любом случае, это теги:

  • < urlset>
  • < url>
  • < loc>

А также 3 необязательных тега:

  • < lastmod>
  • < changefreq>
  • < priority>

Вот памятка по расшифровке каждого тега из официального сайта http://www.sitemaps.org/ru/protocol.html:

Атрибут

Статус

Описание

обязательный

Инкапсулирует этот файл и указывает стандарт текущего протокола.

обязательный

Родительский тег для каждого URL-адреса. Остальные теги подчинены этому тегу.

обязательный

Сам URL-адрес страницы. Всегда начинается с префикса (например, HTTP) и заканчиваться косой чертой (если сервер вашего сайта требует этого).

Внимание: длина URL-адреса не должна превышать 2048 символов.

необязательный

Дата последнего изменения файла. Указывается строго в формате W3C Datetime. Он позволяет при необходимости не учитывать сегмент времени и использовать формат ГГГГ-ММ-ДД.

необязательный

Позволяет указать как часто меняется информация на странице.

Это значение устанавливается приблизительно.

Допустимые значения:

  • always
  • hourly
  • daily
  • weekly
  • monthly
  • yearly
  • never

Если страница изменяется каждый раз, когда ее открывают — используем значение «always» (всегда). Если это архивная страница — ставьте never (никогда).

Учтите, что этот атрибут служит для поискового робота подсказкой, а не правилом. Поэтому зависимости между ним и реальной частотой посещения страницы поисковым роботом нелинейная.

необязательный

Позволяет указать приоритет одних страниц вашего сайта перед другими.

Диапазон значений — от 0,0 до 1,0.

По умолчанию каждой странице отдается приоритет 0,5.

Значение атрибута работает для сравнения приоритета страниц только внутри вашего сайта. То есть оно не влияет на сравнение вашего сайта с сайтами конкурентами в поисковой сети. Более того, выставлять всем страницам максимальный приоритет тоже бессмысленно. Потому что тогда значения будут одинаковыми для робота и атрибут просто не сработает. Так что не ищите лазеек, а указывайте объективные приоритеты для страниц.

Сохраните эту памятку. Она обязательно пригодится вам в первое время. Стоит отметить еще один плюс XML-карты сайта – это гибкость. Гибкость заключается в сочетании разных необязательных директив.

Теперь, когда у вас есть ясность, что такое XML-карта сайта и вы узнали основные директивы этого файла, можно перейти к его составлению.

2. Составление файла sitemap.xml

Составлять карту сайта можно 3 способами:

  • Вручную;
  • Автоматически, с помощью специальных сервисов;
  • Автоматически, с помощью готовых решений в виде плагинов к CMS и т.п.

Процесс приготовления карты сайта следующий:

  • Составляем карту сайта одним из способов, перечисленных выше;
  • Проверяем на валидность с помощью сервисов поисковых систем (https://webmaster.yandex.ru/sitemaptest.xml);
  • Размещаем файл на сайте;
  • Указываем путь к карте сайта для поисковых роботов в файле robots.txt (Кстати, есть отдельная статья о том, как правильно составить файл robots.txt);
  • Указываем Sitemap в панели вебмастеров Яндекс и Google.

Итак, как составлять файл карты сайта?

Разберем пример составления файла вручную. Если вы хотите добавить в карту сайта 5 страниц вашего сайта:

Вот так должна выглядеть карта сайта в формате XML:

http://site.ru/url-o_kompanii/

http://site.ru/url-uslugi/

http://site.ru/url-produkty/

http://site.ru/url-dostavka/

http://site.ru/url-kontakty/

При необходимости добавляем необязательные теги из памятки, которую я привел выше. Дополнительные теги прописываются в контейнере , после указания URL-адреса страницы в теге . Например:

http://site.ru/

2005-01-01

monthly

0.8

Приведенный выше код, указывает поисковой системе, что страница http://site.ru/

в последний раз изменилась 1 января 2005 года. Обновляется с частотой раз в месяц. И приоритет у данной страницы 0.8 (максимально возможный 1).

Рекомендую пользоваться текстовыми редакторами, которые поддерживают синтаксис языка XML, например, Notepad++. Вот так выглядит XML-код в данном редакторе:

3.png

Особенно удобен функционал подсветки парных тегов.

Сервисы для генерации Sitemap

В случае, если на вашем сайте много полезных страниц и вы не хотите тратить время на составление файла вручную, то вам помогут следующие сервисы:

Таких сервисов много. Я использую https://www.xml-sitemaps.com/.

Поясню вкратце все настройки:

4.png

Поисковая система Google рекомендует использовать https://code.google.com/archive/p/sitemap-generators/wikis/SitemapGenerators.wiki

Плагины для CMS

Существует огромное количество плагинов и готовых решений для систем управления сайтов. Например:

CMS

Плагин

Wordpress

Google XML Sitemaps

Bitrix

Плагины для Sitemap

Joomla

Sitemap Generator

ModX

Sitemap

Валидность

После составления карты сайта нужно проверить ее на наличие ошибок. Для проверки используйте сервис https://webmaster.yandex.ru/sitemaptest.xml

После успешной проверки заливаем наш файл на сайт.

Расположение файла

В отличие от файла robots.txt, файл sitemap.xml может располагаться в любом месте вашего сайта. Например, в корневой папке сайта файл будет доступен по следующему адресу:

Если вы разместили файл в папке /files/, то он будет доступен по такому адресу:

После успешной загрузки файла, обязательно укажите поисковым роботам как найти этот файл. Делается это очень просто. В файле robots.txt (подробная инструкция по составлению) в директиве Sitemap пропишите полный адрес к файлу. Например, файл robots.txt может выглядеть следующим образом:

5.png

http://www.apple.com/robots.txt

Важно! В отличии от robots.txt файлов Sitemap может быть несколько. В таком случае необходимо указывать в robots и вебмастерах полный адрес ко всем файлам Sitemap.

Search Console и панель Яндекс.Вебмастера

Остался последний этап. Указать путь к карте сайта в панелях вебмастеров поисковых систем.

В Search Console (панель вебмастера Google):

  • Сканирование
  • Файлы Sitemap
  • Добавление/Проверка файла Sitemap

6.png

В панели Яндекс\.Вебмастер:

  • Настройка индексирования
  • Файлы Sitemap
  • «Проверить» и «Добавить»

7.png

Следует отметить ограничения в XML-карте сайта:

  • В одном файле можно указать не более 50000 URL-адресов
  • Вес файла не более 10 мегабайт (поисковые системы не индексируют документы, превышающие размер в 10 мегабайт). При необходимости файл можно сжать с помощью архиватора .gzip.
  • Кодировка файла только в UTF-8

На этом основные этапы завершены. Следуйте всем описанным простым правилам и ошибок у вас не будет. Вторая часть статьи посвящена более детальной настройке, тонкостям и особенностям sitemap.xml эти знания потребуются вам для составления профессиональной карты сайта для интернет-магазинов.

3. Группировка файлов Sitemap

В случае превышения лимита в 50000 URL-адресов, нужно использовать вложенную структуру и создать группу из нескольких Sitemap. То есть создавать карты сайта в карте сайта!

Для обычного сайта (не крупного портала или интернет-магазина) такой объем страниц редкость, поэтому группировку Sitemap большинство SEO-специалистов используют для удобства, например, для группировки страниц товаров или разделов.

Синтаксис выглядит следующим образом:

http://site.ru/sitemap1.xml.gz

2004-10-01T18:23:17+00:00

http://site.ru/sitemap2.xml.gz

2005-01-01

Определение XML-тегов:

Атрибут


Описание

обязательный

Инкапсулирует информацию о всех файлах Sitemap в этом файле.

обязательный

Инкапсулирует информацию об отдельном файле Sitemap.

обязательный

Указывает местоположение файла Sitemap.

необязательно

Указывает время изменения соответствующего файла Sitemap. Робот использует эту информацию, чтобы понять в каких файлах Sitemap произошли изменения. Косвенно, этот тег позволяет роботу быстрее обнаружить новые страницы сайта.

Таким образом составляется сгруппированная карта сайта. Все остальные процедуры те же, что описаны выше. Не забываем указывать в файле robots.txt, в директиве Sitemap, корректную ссылку на ваш файл.

Как это реализовано на практике можно посмотреть в интернет-магазине «Ozon» http://www.ozon.ru/SitemapIndex.xml

4. Исследование

В конце 2014 года я провел небольшое исследование по анализу эффективности наличия на сайте файла sitemap.xml.

Наблюдалась проблема индексации товарной группы на сайте интернет-магазина (товаров порядка 10000). При этом, ничего не препятствовало их индексации. Был составлен файл карты сайта, состоящий только из ссылок на товары сайта. Карта сайта обновлялась автоматически. За 2 месяца в индексную базу поисковой системы Яндекс попало более 70% URL-адресов. Большая доля страниц, попавших в индекс, это страницы из карты сайта. Отмечу, что в данный период не проводились другие мероприятия по ускорению индексации сайта (например, простановка ссылок).

Вот сами результаты:

8.png

Вывод: карта сайта до сих пор влияет на индексацию вашего сайта. Необходимо регулярно обновлять и актуализировать данный файл.

5. Фишки

Чтобы статья не получилась скучной для опытных SEO-специалистов, предлагаю вам ознакомиться со следующими «фишками».

Картиночный сайтмап

Для привлечения дополнительного трафика из поисковых систем (возможно не совсем конверсионного) вы можете составить дополнительный Sitemap для картинок.

Синтаксис для картиночной карты сайта выглядит так:

xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">

http://example.com/primer.html

http://example.com/kartinka.jpg

http://example.com/photo.jpg

Памятка по XML-тегам:

Тег

Обязательно?

Описание

Да

Содержит всю информацию об одном изображении. Каждый URL (тег ) может включать до 1000 тегов .

Да

URL изображения.

В отдельных случаях домен URL изображения может отличаться от домена, используемого основным сайтом. Если оба домена подтверждены в Search Console, проблем при этом не возникнет. Но если картинки размещены с помощью системы управления контентом, например, сервиса Google Сайты, вам необходимо подтвердить сайт хостинга в Search Console. Кроме того, файл robots.txt не должен запрещать сканирование содержания, которое необходимо индексировать.

Нет

Подпись к изображению.

Нет

Место съемки. Например, Поронайск, о. Сахалин.

Нет

Название изображения.

Нет

URL лицензии изображения.

Лайфхак для тех, кто дочитал

Многие SEO-специалисты генерируют файлы Sitemap один раз на старте проекта. Дальше про карту сайта забывают. Проиндексировались страницы — хорошо. Нет — а что поделать?! Новые страницы вообще забывают вносить в sitemap.

В ходе своего исследования я выяснил, что наиболее удобным способом решения этой проблемы является отдельный файл sitemap.xml, в котором будут только те страницы сайта, которые еще не попали в индекс.

И именно это позволило вогнать в индекс Яндекса более 70% новых URL-адресов.

34 комментария
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
  • Andrey_79
    1
    комментарий
    0
    читателей
    Andrey_79
    больше года назад
    Подскажите, если товаров больше 1 млн. , как правильно создать sitemap? Можно все ссылки вложить в один файл и запаковать его или нужно разбивать по 50 000 и каждый запаковывать отдельно ?
    -
    0
    +
    Ответить
  • Сергей
    больше года назад
    Спасибо за резюме!
    Все! Абсолютно все пишут одно и тоже! Не встретил нигде серьёзных кейсов для больших сайтов где была заструга карта сайта с изображениями. И у меня возникло ряд вопросов (продвигаю крупный интернет-магазин):
    1. Сколько строк должна иметь одна карта сайта? У меня с изображениями 125 000 при том что всего 7500 страниц (остальное карта для изображений)
    2. Яндекс ругаеться и всячески пинаеттся ногами по животу, так как внутри карты к карты есть...
    Спасибо за резюме!
    Все! Абсолютно все пишут одно и тоже! Не встретил нигде серьёзных кейсов для больших сайтов где была заструга карта сайта с изображениями. И у меня возникло ряд вопросов (продвигаю крупный интернет-магазин):
    1. Сколько строк должна иметь одна карта сайта? У меня с изображениями 125 000 при том что всего 7500 страниц (остальное карта для изображений)
    2. Яндекс ругаеться и всячески пинаеттся ногами по животу, так как внутри карты к карты есть ссылки на изображения, то его Парсинга проверки не проходит вторую строку, где указана ссылка на Гугл валидация карты сайта?
    3. Как подружить Яшу и Гошу? Стоит ли разбивать карты для Яндекса без картинок и для гугла для картинок в том числе?
    Нет достойного ответа в интернете!
    -
    2
    +
    Ответить
  • Гость
    больше года назад
    Доброго времени суток, подскажите, пожалуйста, как можно создать сайтмап картинок всего сайта? Может есть какие-нибудь бесплатные сервисы?
    -
    2
    +
    Ответить
  • Валик Вовк
    3
    комментария
    0
    читателей
    Валик Вовк
    больше года назад
    Здравствуйте, статья полезная, спасибо.
    Интересует такой вопрос, есть сайт на InSale и карта генерируется автоматически для категорий и товаров в один документ. Я хочу составить отдельные карты для разделов, но из-за особенности cms это сделать невозможно.
    Допустим я выгружу url адреса категорий отдельно от товаров, и потом мне нужно будет составить карты. Подскажите, есть методы формирования карт по заданным url адресам (есть url товаров, вот для них и нужно создать)? Рук...
    Здравствуйте, статья полезная, спасибо.
    Интересует такой вопрос, есть сайт на InSale и карта генерируется автоматически для категорий и товаров в один документ. Я хочу составить отдельные карты для разделов, но из-за особенности cms это сделать невозможно.
    Допустим я выгружу url адреса категорий отдельно от товаров, и потом мне нужно будет составить карты. Подскажите, есть методы формирования карт по заданным url адресам (есть url товаров, вот для них и нужно создать)? Руками писать карту для товаров это не выход, на сайте около 50.000 товаров.
    Буду очень благодарен за помощь.
    Спасибо.
    -
    2
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Валик Вовк
      больше года назад
      Спасибо за вопрос.

      Проблему можно решить с помощью стандартных функций Excel и любого текстового редактора, например Notepad++.

      Пошаговая инструкция:
      1. Парсим все адреса страниц (например, категорий), которые необходимо добавить в карту сайта.
      2. В файле Excel добавляем в столбец все спаршенные адреса страниц
      3. В столбце слева указываем следующий шаблон:
      4. В столбце справа соотвественно:
      5. Расстягиваем значения в ле...
      Спасибо за вопрос.

      Проблему можно решить с помощью стандартных функций Excel и любого текстового редактора, например Notepad++.

      Пошаговая инструкция:
      1. Парсим все адреса страниц (например, категорий), которые необходимо добавить в карту сайта.
      2. В файле Excel добавляем в столбец все спаршенные адреса страниц
      3. В столбце слева указываем следующий шаблон:
      4. В столбце справа соотвественно:
      5. Расстягиваем значения в левом и правом столбце на все адреса страниц, получаем такую картину: yadi.sk/i/8vavY_qdtE85c
      6. Копируем все значения из таблицы: yadi.sk/i/Oj4Huu-KtE88y
      7. Вставляем в любой текстовый редактор, например, в Notepad++: yadi.sk/i/i5blQIJBtE8Cm
      8. Заменяем возникшую табуляцию на пустой символ: yadi.sk/i/a355AUD7tE8Fi
      9. Получаем следующее содержимое после замены: yadi.sk/i/wK25zxF6tE8LV Это и есть содержимое будущего файла sitemap.xml
      10. Обрамляем все текущее содержимое в блоки ....
      11. Не забываем про тег  в самом вверху.
      12. Сохраняем файл с разрещением .xml
      13. Готово. :)

      Надеюсь помог вам.
      -
      3
      +
      Ответить
      • Валик Вовк
        3
        комментария
        0
        читателей
        Валик Вовк
        Айрат Рахимзянов
        больше года назад
        Большое вам спасибо за ответ. Но вот оформление в специальные блоки и является основной причиной. Под основными блоками имею ввиду: дата изменения, приоритет страницы, и время индексации.
        У меня будет к примеру 25 000 товаров а проставлять руками эти блоки - сами понимаете - не стоит этого времени, но без них никуда.
        Если подскажите - очень буду благодарен. Спасибо Вам за качественные статьи и комментарии.
        -
        0
        +
        Ответить
        • Айрат Рахимзянов
          0
          комментариев
          0
          читателей
          Айрат Рахимзянов
          Валик Вовк
          больше года назад
          Оказывается теги слетели в ответе выше, надеюсь все поняли, что я имел ввиду. Если кому-то будет непонятно, выложу скриншотами.

          Согласен, добавление необязательных тегов вручную с каталогом магазина в 25000 товаров проблемная ситуация. :)

          Если вам это все же действительно нужно, то решение вижу следующее. Все товары нужно разбить на группы по приоритетам. Как это сделать:
          1. Собираем названия всех разделов
          2. Пробиваем частотность по H1 каждого раздел...
          Оказывается теги слетели в ответе выше, надеюсь все поняли, что я имел ввиду. Если кому-то будет непонятно, выложу скриншотами.

          Согласен, добавление необязательных тегов вручную с каталогом магазина в 25000 товаров проблемная ситуация. :)

          Если вам это все же действительно нужно, то решение вижу следующее. Все товары нужно разбить на группы по приоритетам. Как это сделать:
          1. Собираем названия всех разделов
          2. Пробиваем частотность по H1 каждого раздела (например, программой KeyCollector или бесплатным аналогом Слово*б).
          3. Таким образом, будет примерно выстроен приоритет по трафикодающим страницам.
          4. Зная этот список можно по фильтру в Excel (по вложенности адресов страниц в данную категорию) выставить приоритеты по принципу описанному выше. Я бы делил коэффициент приоритета на 5 частей. Например, главная страница имеет приоритет 1,00. Следующие 20% страниц имеют приоритет ниже, например, 0,8 и т.д. Расставили приоритеты по всем страницам.
          5. Частоту изменения я бы проставил по типам страниц. Например, главная страница меняется ежедневно, категории еженедельно, а страницы карточек товаров ежемесячно. Отделять страницы карточек товаров от страниц разделов/подразделов можно с помощью регулярных выражений или просто исключения страниц разделов из общего списка в Excel.
          6. Теперь самое трудное, нужно проставить дату последнего изменения документа. Можно поступить таким способом, с помощью программы Comparser, парсим выдачу поисковой системы Яндекс или Google и копируем оттуда дату сохраненной копии: yadi.sk/i/kp0qReDctFGzi. Существует проблема объема индексной базы, мы спарсим только те страницы, до которых добрались роботы поисковых систем, так же возможно наличие большого количества служебных страниц.
          7. Можно поступить попроще. После указания приоритета, частоты изменения, можно датой последнего изменения документа установить любую дату (например, вчерашнюю). :)


          И еще один момент, в будущем, возможно вам понадобятся более сложные решения в плане SEO, поэтому рекомендую переехать с saas решения InSales на любую другую CMS (например, Opencart). Лучше всего для задач поисковой оптимизации интернет-магазинов подходит Bitrix.

          -
          3
          +
          Ответить
          • Валик Вовк
            3
            комментария
            0
            читателей
            Валик Вовк
            Айрат Рахимзянов
            больше года назад
            Айрат, спасибо за ответ.
            Проблема в том, что сайт только переехал в Bitrix на InSale (не буду описывать нюансы и причины, просто клиенту посоветовали так сделать, а он по незнанию сделал это), вот теперь и мучаюсь. InSale крайне не рекомендую, намучаетесь с этой cms.
            -
            0
            +
            Ответить
  • Максим
    больше года назад
    Айрат здравствуйте! Большое спасибо за статью!

    несколько вопросов если позволите:

    1) заметил что страницы сайты плохо индексируются,  как страницы товаров,  так и страницы статей.

    в чем может быть проблема, если все настроено как в статье,  ошибок в валидаторе и вебмастерах нет.

    sitemap имеет вложенную структуру (интернет магазин).  приоритет установлен у них 0.8

    Есть смысл ...
    Айрат здравствуйте! Большое спасибо за статью!

    несколько вопросов если позволите:

    1) заметил что страницы сайты плохо индексируются,  как страницы товаров,  так и страницы статей.

    в чем может быть проблема, если все настроено как в статье,  ошибок в валидаторе и вебмастерах нет.

    sitemap имеет вложенную структуру (интернет магазин).  приоритет установлен у них 0.8

    Есть смысл изменить структуру с вложенной на одностраничную - может так будут лучше индексироваться ?


    -
    0
    +
    Ответить
    • Максим
      больше года назад
      2) вот так выглядит вложенная страница


      www.salonehome.ru/category/christina/
      0.8
      daily

      здесь все правильно ведь ?


      -
      0
      +
      Ответить
      • Айрат Рахимзянов
        0
        комментариев
        0
        читателей
        Айрат Рахимзянов
        Максим
        больше года назад
        Здравствуйте Максим. Возможно, вам будет интересна новая статья: www.seonews.ru/analytics/metody-bystroy-indeksatsii-sayta/
        -
        0
        +
        Ответить
      • Айрат Рахимзянов
        0
        комментариев
        0
        читателей
        Айрат Рахимзянов
        Максим
        больше года назад
        Здравствуйте. Спасибо за вопрос!

        На вашем месте, я бы добавил в файл sitemap.xml только страницы 2 и 3 уровней вложенности без указания необязательных тегов (prioirity и т.п.). Не забудьте указать путь к файлу sitemap.xml в панелях вебмастеров и отследить как пойдет индексация.

        Скоро выйдет новая статья, посвященная разным методикам, позволяющим быстро проиндексировать/переиндексировать сайт, я думаю, эта статья будем вам полезна. Ссылку скину в этой ветке ко...
        Здравствуйте. Спасибо за вопрос!

        На вашем месте, я бы добавил в файл sitemap.xml только страницы 2 и 3 уровней вложенности без указания необязательных тегов (prioirity и т.п.). Не забудьте указать путь к файлу sitemap.xml в панелях вебмастеров и отследить как пойдет индексация.

        Скоро выйдет новая статья, посвященная разным методикам, позволяющим быстро проиндексировать/переиндексировать сайт, я думаю, эта статья будем вам полезна. Ссылку скину в этой ветке комментариев.
        -
        1
        +
        Ответить
  • SK
    1
    комментарий
    0
    читателей
    SK
    больше года назад
    Айрат, добрый день! А подскажите, пожалуйста, когда вы добавляете непроиндексированные страницы(из вашего примера) и делаете дополнительный файл, вы как его называете и куда размещаете?
    -
    0
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      SK
      больше года назад
      Здравствуйте. Спасибо за вопрос!

      Применительно к файлу sitemap.xml, назвать его можно абсолютно по-всякому, например, sitemap_index.xml. Самое главное, не забыть указать полный путь к этому файлу в robots.txt в директиве Sitemap.
      -
      1
      +
      Ответить
  • Геннадий Хурмин
    2
    комментария
    0
    читателей
    Геннадий Хурмин
    больше года назад
    Хорошая статья, в принципе, все подробно расписано.
    Вопрос касательно сайтмапы для картинок.
    У меня на сайте все изображения лежат на cdn-серверах, дабы не сильно нагружать свой, родной серв. Что будет если я укажу в сайтмапе ссылки на изображения, по сути своей, лежащие на другом домене (типа mysite.ru.cdn.bitrix.ru)? Куда приведет изображение из поиска по картинкам, на мой сайт или куда-то еще?
    -
    4
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Спасибо за интересный вопрос.

      Тестировали на одном интернет-магазине (CDN там тоже используется), при проверке перехода из поиска по картинкам в Яндексе и Google переход засчитывается как канал "Organic", так как изображение из поиска приведет на сам сайт.

      Проверяли в Google Analytics, в режиме реального времени.
      -
      6
      +
      Ответить
  • виктор
    больше года назад
    После публикации стать о robots.txt ждал вразумительной стане о карте сайта. Все просто, наглядно и понятно. Спасибо большое. Ждем дальнейших полезных статей.
    -
    3
    +
    Ответить
  • Roman Iurchenko
    13
    комментариев
    0
    читателей
    Roman Iurchenko
    больше года назад
    Подскажите, с какой периодичностью нужно обновлять кату сайта?
    -
    0
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Roman Iurchenko
      больше года назад
      Желательно раз в месяц. За это время обычно большинство страниц уже успевает попадать в индекс.
      -
      3
      +
      Ответить
  • Тема
    2
    комментария
    0
    читателей
    Тема
    больше года назад
    Айрат, большое спасибо за статью!  Есть небольшой вопрос: в буржунете бытует мнение, что дробление карты сайта на более мелкие сайтмапы по 100-1000 страниц позволяет поиску быстрее их индексировать, и в результате индексация всего сайта пройдет быстрее, нежели если мы просто создадим один сайтмап на 10000+ страниц. Скажите, сталкивались с таким и правда ли это?  Спасибо!
    -
    0
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Тема
      больше года назад
      У каждого сайта есть свой бюджет краулинга, поэтому плодить большое количество сайтмапов думаю бессмысленно. Вижу смысл в дроблении в 2-3 сайтмапа только при группировке страниц. Например, сайтмап для товаров, который автоматически генерируется раз в неделю, соответственно в нем корректируются/добавляются ссылки на товары (или при необходимости удаляются), а в основном сайтмапе ссылки на важные страницы сайта, например, 2-3 уровня вложенности.

      Когда нужно проиндексировать...
      У каждого сайта есть свой бюджет краулинга, поэтому плодить большое количество сайтмапов думаю бессмысленно. Вижу смысл в дроблении в 2-3 сайтмапа только при группировке страниц. Например, сайтмап для товаров, который автоматически генерируется раз в неделю, соответственно в нем корректируются/добавляются ссылки на товары (или при необходимости удаляются), а в основном сайтмапе ссылки на важные страницы сайта, например, 2-3 уровня вложенности.

      Когда нужно проиндексировать множество страниц, обычно на крупном портале, то создаем HTML версии сайтмапов по 300-500 страниц каждая и загоняем их в индекс закупкой ссылок с новостных ресурсов, где живут быстророботы. Такой механизм пока действует.
      -
      4
      +
      Ответить
  • Гость
    больше года назад
    Айрат, каково ваше мнение по поводу необходимости sitemap.xml для сайтов с малым количеством страниц? Кто-то говорит, что на сайтах до 1000 страниц при генерации sitemap можно особо не заморачиваться, или даже не размещать ее совсем. Спасибо.
    -
    0
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Гость
      больше года назад
      При прочих равных параметрах, сайт, на котором есть sitemap.xml проиндексируется быстрее, поэтому я делаю всегда sitemap.xml всегда. Если сайт небольшой, то и делать-то его недолго. :)
      -
      3
      +
      Ответить
  • Читатель
    больше года назад
    все очень подробно описано. можно использовать как инструкцию. спасибо автору. еще такой момент. вы сказали про карту с непроиндексированнымми страницами, как это вообще можно сделать? скажите пожалуйтса.
    -
    0
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Читатель
      больше года назад
      Я это делаю следующим образом. Сначала получаю список всех страниц сайта с помощью любого парсера, например, Comparser или Screaming Frog (платные) или бесплатные Netpeak Spider или Page Weight. После чего, в программе Key Collector (платная) указываю адреса сайта и загружаю все полученные адреса страниц с конкатенацией строк "url:" и "site.ru/" (адрес страницы) и снимаю позиции, в пункте KEI -> "Получить данные для ПС Яндекс". Скриншот...
      Я это делаю следующим образом. Сначала получаю список всех страниц сайта с помощью любого парсера, например, Comparser или Screaming Frog (платные) или бесплатные Netpeak Spider или Page Weight. После чего, в программе Key Collector (платная) указываю адреса сайта и загружаю все полученные адреса страниц с конкатенацией строк "url:" и "site.ru/" (адрес страницы) и снимаю позиции, в пункте KEI -> "Получить данные для ПС Яндекс". Скриншот для наглядности: take.ms/98sc9. Предварительно в настройках Key Collector указать данные для парсинга через XML, таким образом, вы получите результат гораздо быстрее, чем при парсинге поисковой выдачи напрямую. В результатах, в колонке "Позиция [Ya]", если видим значение: "1", то страница индексируется в поисковой системе Яндекс, если значение отсутствует, то соответственно наоборот. Пример: take.ms/jJp0V

      Для поисковой системы Google, пробить страницы на индекс можно с помощью сочетания комбинация: "info:" и "site.ru/". Процесс парсинга будет гораздо дольше, пока что не нашел способа ускорить процесс, кроме использования прокси-серверов. Результаты оцениваем так же как и для Яндекса.

      На основе полученных результатов уже составляем карту сайта. То есть, добавляем в карту сайта только те, страницы, которые не проиндексированы в поисковых системах.

      Есть бесплатный аналог программы Key Collector, ее базовая версия, которая доступна по ссылке: search-soft.ru/2013/10/23/slovoeb.html.
      -
      8
      +
      Ответить
  • Белка
    больше года назад
    Айрат, я сгенерировала сайтмап в сервисе (рекламировать не буду) и заметила, что в карте сайта появилось упоминание самого сервиса. Это зачем-то нужно? И нужно ли вообще?
    -
    0
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Белка
      больше года назад
      Это нужно только для рекламирования самого сервиса. В самом sitemap.xml он указывается в теги комментирования , поэтому само наличие ни на что не повлияет. Вы можете просто удалить данную строку.
      -
      3
      +
      Ответить
  • Almaz Zaripov
    1
    комментарий
    0
    читателей
    Almaz Zaripov
    больше года назад
    Отслеживали ли вы влияние наличия или отсутствия в сайтмапе необязательных тегов типа: lastmod?
    -
    5
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Almaz Zaripov
      больше года назад
      Отслеживали. На практике сильного эффекта они не дают. По сравнению с необязательным тегом , гораздо эффективнее использовать HTTP заголовки сервера Last-Modified и Expires.
      -
      3
      +
      Ответить
  • Гость
    больше года назад
    Круто, спасибо!
    -
    8
    +
    Ответить

Отправьте отзыв!
X | Закрыть