Магия rel=canonical и переменная ved

В данной статье хотелось бы привлечь внимание специалистов к несовершенству тега rel="canonical" и интересной переменной &ved=0CCMQ0Qw.

При стандартной проверке сайта на наличие ошибок было выявлено, что у продвигаемой страницы появился дубль в выдаче поисковой системы Google. В Яндексе такой проблемы замечено не было.

Дубль был обнаружен при проверке текста на уникальность.

При анализе дубля было выявлено, что это та же продвигаемая страница, которая отличается лишь переменной в GET запросе ved=0CC0Q0Qw, которая добавлена к URL-адресу. Откуда взялась эта переменная, я не знаю, ранее с таким не встречался.

Попробуем обнаружить, какое количество страниц с переменной &ved было проиндексировано на всем сайте, при помощи поискового запроса:

В результате найдены 3 таких страницы в индексе поисковой системы:

Хорошо, что дублей не так много. Однако совпадение значения переменной ved у всех таких страниц заставляет задуматься.

Проверим, сколько страниц поисковая система проиндексировала с таким значением переменной для всех сайтов:

Как мы видим из скриншота, множество крупных магазинов содержит аналогичные дубли в индексе поисковой системы Google.

Совет. Проверьте свои сайты, возможно, страницы с переменной &ved есть в индексе, ведь такие сайты, как rozetka.com.ua, eldorado.com.ua и hotline.ua, уже вплотную с ними столкнулись.

Примеры проиндексированных страниц с переменной &ved:

Я попытался узнать у своих коллег, встречался ли кто-то ранее с данной переменной. Но, к сожалению, это не дало результатов.

Почему данные страницы попали в индекс?

Самое интересное то, что со страниц-дублей (которые содержат различные переменные) на клиентском сайте автоматически прописывается rel="canonical" на основную страницу. Т.е. со всех страниц, которые содержат какие-либо переменные, автоматически добавляется canonical на родительскую страницу.

Приведу пример:

Есть продвигаемая страница http://site.com.ua/usluga1

Мы не хотим, чтобы какие-нибудь страницы с идентификатором сессии в URL-адресе индексировались и попадали в базы поисковых систем, поэтому мы прописываем на http://site.com.ua/usluga1 и всех страницах с переменными в URL:

Т.е. если у нас появится каким-то образом страница http://site.com.ua/usluga1&ved=0CCMQ0Qw, —

то на ней автоматически будет прописан тег: < link rel="canonical" href="http://site.com.ua/usluga1" />

Таким образом мы избавляемся от всевозможных дублей с переменными, делая их дочерними от продвигаемой страницы. Но в данном случае это по каким-то неведомым мне причинам не срабатывает.

Получается так, что страница содержит canonical, является дочерней и все равно индексируется поисковой системой Google.

Попытки решения проблемы

Для того чтобы исключить данные страницы из индекса поисковой системы, было предпринято множество действий, но они не увенчались успехом. Добавляли страницы на повторное индексирование через GWT, пинговали, даже ждали 2 недели, все тщетно.

В конце концов прописали со страниц с переменной &ved=0CCMQ0Qw 301 редирект на соответствующие страницы, и через некоторое время дубли были устранены из индекса поисковой системы Google.

Выводы

Данной статьей я ни в коем случае не хочу сказать, что тег link rel="canonical" плох для избавления сайтов от страниц-дубликатов. Хочу только донести мысль о том, что нужно всегда следить за индексом поисковых систем и анализировать их результаты. Там может быть много интересного.

Также следует максимально часто перепроверять продвигаемые сайты на наличие ошибок с точки зрения оптимизации и своевременно их устранять.

P.S. Буду очень признателен, если кто-то мне объяснит происхождение данной переменной.