Магия rel=canonical и переменная ved

2 Июня 2015
в 16:17
11 6137
Владислав Наумов
Seo-специалист,
агентство интернет-рекламы Inweb

В данной статье хотелось бы привлечь внимание специалистов к несовершенству тега rel="canonical" и интересной переменной &ved=0CCMQ0Qw.

При стандартной проверке сайта на наличие ошибок было выявлено, что у продвигаемой страницы появился дубль в выдаче поисковой системы Google. В Яндексе такой проблемы замечено не было.

1.png

Дубль был обнаружен при проверке текста на уникальность.

http://site.com.ua/usluga1&ved=0CCMQ0Qw

При анализе дубля было выявлено, что это та же продвигаемая страница, которая отличается лишь переменной в GET запросе ved=0CC0Q0Qw, которая добавлена к URL-адресу. Откуда взялась эта переменная, я не знаю, ранее с таким не встречался.

Попробуем обнаружить, какое количество страниц с переменной &ved было проиндексировано на всем сайте, при помощи поискового запроса:

site:site.com.ua inurl:ved=

В результате найдены 3 таких страницы в индексе поисковой системы:

http://site.com.ua/usluga1&ved=0CCMQ0Qw

http://site.com.ua/usluga2&ved=0CCMQ0Qw

http://site.com.ua/usluga3&ved=0CCMQ0Qw

Хорошо, что дублей не так много. Однако совпадение значения переменной ved у всех таких страниц заставляет задуматься.

Проверим, сколько страниц поисковая система проиндексировала с таким значением переменной для всех сайтов:

inurl:0CCMQ0Qw

Как мы видим из скриншота, множество крупных магазинов содержит аналогичные дубли в индексе поисковой системы Google.

2.jpg

Совет. Проверьте свои сайты, возможно, страницы с переменной &ved есть в индексе, ведь такие сайты, как rozetka.com.ua, eldorado.com.ua и hotline.ua, уже вплотную с ними столкнулись.

Примеры проиндексированных страниц с переменной &ved:

http://hard.rozetka.com.ua/logitech_wireless_mouse_m185_910_002240_red/p178126/&ved=0CCMQ0Qw/

http://www.eldorado.com.ua/led/mystery/c1038962/v352/%26ved=0CCMQ0Qw/

http://hotline.ua/foto-fotoapparaty/nikon-1-aw1-series/?tab=2&ved=0CCMQ0Qw%2F

Я попытался узнать у своих коллег, встречался ли кто-то ранее с данной переменной. Но, к сожалению, это не дало результатов.

Почему данные страницы попали в индекс?

Самое интересное то, что со страниц-дублей (которые содержат различные переменные) на клиентском сайте автоматически прописывается rel="canonical" на основную страницу. Т.е. со всех страниц, которые содержат какие-либо переменные, автоматически добавляется canonical на родительскую страницу.

Приведу пример:

Есть продвигаемая страница http://site.com.ua/usluga1

Мы не хотим, чтобы какие-нибудь страницы с идентификатором сессии в URL-адресе индексировались и попадали в базы поисковых систем, поэтому мы прописываем на http://site.com.ua/usluga1 и всех страницах с переменными в URL:

< link rel="canonical" href="http://site.com.ua/usluga1" />

Т.е. если у нас появится каким-то образом страница http://site.com.ua/usluga1&ved=0CCMQ0Qw, —

то на ней автоматически будет прописан тег: < link rel="canonical" href="http://site.com.ua/usluga1" />

Таким образом мы избавляемся от всевозможных дублей с переменными, делая их дочерними от продвигаемой страницы. Но в данном случае это по каким-то неведомым мне причинам не срабатывает.

Получается так, что страница содержит canonical, является дочерней и все равно индексируется поисковой системой Google.

Попытки решения проблемы

Для того чтобы исключить данные страницы из индекса поисковой системы, было предпринято множество действий, но они не увенчались успехом. Добавляли страницы на повторное индексирование через GWT, пинговали, даже ждали 2 недели, все тщетно.

В конце концов прописали со страниц с переменной &ved=0CCMQ0Qw 301 редирект на соответствующие страницы, и через некоторое время дубли были устранены из индекса поисковой системы Google.

Выводы

Данной статьей я ни в коем случае не хочу сказать, что тег link rel="canonical" плох для избавления сайтов от страниц-дубликатов. Хочу только донести мысль о том, что нужно всегда следить за индексом поисковых систем и анализировать их результаты. Там может быть много интересного.

Также следует максимально часто перепроверять продвигаемые сайты на наличие ошибок с точки зрения оптимизации и своевременно их устранять.

P.S. Буду очень признателен, если кто-то мне объяснит происхождение данной переменной.


11 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
  • Сидор Оптимимизатор
    4
    комментария
    0
    читателей
    Сидор Оптимимизатор
    больше года назад
    "P.S. Буду очень признателен, если кто-то мне объяснит происхождение данной переменной."

    Ох, я всегда считал что коллеги-SEOшники должны уметь искать информацию, особенно в поисковиках. Ну да ладно. Переменная показывает с какой именно части SERP Google (новости, картинка, просто ссылка из органики), пришел пользователь.
    Ознакомьтесь: moz.com/blog/decoding-googles-referral-string-or-how-i-survived-secure-search
    -
    0
    +
    Ответить
    Поделиться
  • Женя Кравчук
    1
    комментарий
    0
    читателей
    Женя Кравчук
    больше года назад
    Добрый день ! Анализируя свои сайты тоже нашел такие переменные
    &ved=0CMoBENEM
    &ved=0CBwQ0Qw
    &ved=0CJMBENEM
    -
    0
    +
    Ответить
    Поделиться
  • Skarui
    93
    комментария
    0
    читателей
    Skarui
    больше года назад
    Можно же в robots.txt запретить этот ved не?
    Disallow: */?ved=*
    Disallow: */ved=*
    -
    0
    +
    Ответить
    Поделиться
    • quTG
      0
      комментариев
      0
      читателей
      quTG
      Skarui
      больше года назад
      Лучше 301, поведенческие на закрытой странице могут не учитываться
      -
      0
      +
      Ответить
      Поделиться
    • Владислав Наумов
      33
      комментария
      0
      читателей
      Владислав Наумов
      Skarui
      больше года назад
      1.Можно закрыть в Robots.txt.
      2.Можно прописать meta name="robots" content="noindex, nofollow".
      3.Можно удалить данные url через GWT.
      4.Можно сделать чтобы данная страница отдавала код отличный от 200.
      5.Можно запретить сканирование через GWT.
      6.Можно прописать 301 редирект.

      Но тема статьи немножко о другом, а именно о теге link rel="canonical" и переменной ved.
      -
      0
      +
      Ответить
      Поделиться
  • SeoBudo
    2
    комментария
    0
    читателей
    SeoBudo
    больше года назад
    Да, поисковые системы хитрые и изворотливые штуки:)
    -
    0
    +
    Ответить
    Поделиться
  • SeoBudo
    2
    комментария
    0
    читателей
    SeoBudo
    больше года назад
    &ved=0CCMQ0Qw - подобные переменные могут быть сформированы cms сайта, проверьте, возможно у всех сайтов с наличием этой переменной в урл - одна и та же админка.

    link rel="canonical" - если память не изменяте тег не гарантирует того, что страница с ним не будет проиндексирована, он указывает лишь дает сигнал поисквому роботу о на главную страницу, на которой расположен основной контент

    "support.google.com/webmasters/answer/139066?rd=1   - В э...
    &ved=0CCMQ0Qw - подобные переменные могут быть сформированы cms сайта, проверьте, возможно у всех сайтов с наличием этой переменной в урл - одна и та же админка.

    link rel="canonical" - если память не изменяте тег не гарантирует того, что страница с ним не будет проиндексирована, он указывает лишь дает сигнал поисквому роботу о на главную страницу, на которой расположен основной контент

    "support.google.com/webmasters/answer/139066?rd=1   - В этой статье описано, как использовать канонические URL, чтобы улучшить рейтинг одинакового содержания, размещенного на разных страницах."
    -
    0
    +
    Ответить
    Поделиться
    • Владислав Наумов
      33
      комментария
      0
      читателей
      Владислав Наумов
      SeoBudo
      больше года назад
      На моем подопечном сайте какой-то самопис, не думаю что у розетки и work.ua такой же :)

      Поисковая система ничего не гарантирует, чтобы к ней потом не предъявляли претензий вида :

      - Моя страница не проиндексирована, а в справке написано что в Sitemap.xml укажите страницу и все будет проиндексировано.
      - Canonical не склеил дубликаты.
      - Запрещено сканирование страницы в Robots.txt, а страница всё-равно в индексе.
      - На странице размещен мета тег met...
      На моем подопечном сайте какой-то самопис, не думаю что у розетки и work.ua такой же :)

      Поисковая система ничего не гарантирует, чтобы к ней потом не предъявляли претензий вида :

      - Моя страница не проиндексирована, а в справке написано что в Sitemap.xml укажите страницу и все будет проиндексировано.
      - Canonical не склеил дубликаты.
      - Запрещено сканирование страницы в Robots.txt, а страница всё-равно в индексе.
      - На странице размещен мета тег meta name="robots" content="noindex,nofolow" но страница всё-равно индексируется.
      - И так далее.

      В справке рекомендуется устранять полные дубликаты при помощи тега link rel="canonical", а страницы, которые отличаются только по url как раз полными дубликатами и являются.

      Поэтому следует логичный вывод - Доверяй, но проверяй)
      -
      0
      +
      Ответить
      Поделиться
  • Герман Мотуз
    3
    комментария
    0
    читателей
    Герман Мотуз
    больше года назад
    Обнаружил у себя такую штуку: ved=0CJABENEM
    -
    0
    +
    Ответить
    Поделиться
    • Владислав Наумов
      33
      комментария
      0
      читателей
      Владислав Наумов
      Герман Мотуз
      больше года назад
      Добрый день, Герман.

      Тогда получается значение переменной ved может быть разным, очень интересно, спасибо за информацию.

      И Вы не одиноки, у многих других сайтов есть такие же дубли.


      Значит при поиске дублей данного типа необходимо использовать запрос inurl:ved= , а не значение самой переменной.
      -
      0
      +
      Ответить
      Поделиться

Отправьте отзыв!
X | Закрыть