Кейс: полный аудит сайта. Часть 1

На прошедшей в конце марта конференции eTarget компания «Ашманов и партнеры» разыграла поисковый аудит сайта. Победителем конкурса стала сеть центров дополнительного образования для школьников «Юниум» с сайтом unium.ru.

В аудите мы приводим целый ряд необходимых рекомендаций, которые можно разбить на 3 основные части:

1. Рекомендации по улучшению индексации сайта главными русскоязычными поисковыми системами;

2. Рекомендации по текстовой коррекции сайта, направленные на повышение релевантности страниц поисковым запросам из семантического ядра;

3. Рекомендации по эргономике сайта и его коммерческой составляющей.

Аудит достаточно объемный, поэтому мы решили рассказать о его результатах в двух статьях. В первой мы расскажем об улучшении индексации и рассмотрим наиболее критичные ошибки, во второй поговорим про текстовое наполнение и эргономику.

Прежде чем приступить к анализу оптимизации сайта, мы изучили его тематику и конкуренцию в соответствующей поисковой нише. Мы сформировали семантическое ядро из 1233 запросов, общая популярность которых — 418 753 показа в месяц (по данным сервиса Seorate.ru на апрель 2016 года). В тематическом рейтинге сайтов по количеству эффективных показов, построенном по набору релевантных запросов, www.unium.ru занимает лишь 45-ое место.

Источник: SeoRate.ru; анализ «Ашманов и партнеры»

Эффективные показы зависят от популярности поисковых запросов, определяющих данную тематику (совокупный спрос) и от позиций, занимаемых сайтом в результатах поиска.

На момент проведения измерений общее число эффективных показов сайта по ядру по данным SeoRate.ru (регион – Москва) составило 1942, тогда как у одного из лидеров рейтинга http://www.bkc.ru/ количество эффективных показов около 10114. Видимость сайта unium.ru составляет 2,93%.

Видимость сайта рассчитывается как отношение числа эффективных показов сайта к общему числу поисков по заданным запросам. Увеличение видимости — одна из основных предпосылок увеличения посещаемости сайта.

Сайт крайне редко встречается на первых страницах поисковой выдачи по запросам тематики «Обучение» и на фоне конкурентов выглядит слабо. Это обусловлено недостаточным уровнем текущей оптимизации ресурса.

Поисковый трафик сейчас — основной источник посетителей и составляет 63%. Критичные ошибки в оптимизации не позволяют сайту получать тематический трафик, именно поэтому очень важно реализовать рекомендации, о которых мы говорим в статье.

Теперь детально рассмотрим необходимые исправления.

Работа по протоколу HTTPS и смена главного зеркала

В первую очередь мы столкнулись с тем, что сайт www.unium.ru доступен сразу по двум протоколам – HTTP и HTTPS. Например, в индексе Google находятся страницы в обоих вариантах, что служит источником дублей и не позволяет корректно индексировать ресурс.

С учетом конкретной ситуации мы рекомендуем следующую последовательность шагов:

1. Файл robots.txt на обоих сайтах необходимо привести к единообразию. Файл https://unium.ru/robots.txt должен стать таким же, как по адресу http://unium.ru/robots.txt, однако в директиве Host файла robots.txt адрес сайта необходимо указать с HTTPS.

Host: https://unium.ru

Sitemap: https://unium.ru/sitemap.xml

2. Указать новое главное зеркало с протоколом HTTPS в Яндекс.Вебмастере.

3. После изменения главного зеркала в Яндекс.Вебмастере необходимо настроить постраничные серверные 301 редиректы для всех страниц сайта: со старых адресов (HTTP) на новые адреса (HTTPS).

4. После настройки 301 редиректов отправить с целевого сайта (с HTTPS) в Google Search Console две XML-карты сайта, содержащие старые и новые URL. Для текущей версии карту требуется создать (она может быть доступна по адресу http://unium.ru/sitemap.xml), а для версии с HTTPS карта доступна по адресу https:\/\/unium\.ru\/sitemap\.xml. Это поможет поисковым роботам Google обнаружить переадресацию со старых URL на новые URL и упростит перенос.

Важно!

С момента перехода на протокол HTTPS любые данные, которые посетители передают сайту (логин с паролем, информация для регистрации и т.п.), будут проходить через шифрованную систему. Это обязательно будет учтено поисковыми системами и может увеличить доверие к сайту со стороны его посетителей.

В процессе смены главного зеркала может произойти временное снижение позиций. Это связано с обновлением адресов страниц сайта в поисковой выдаче. Тем не менее, это необходимые доработки, которые окажут существенное влияние на позиции сайта в поисковых выдачах.

Помимо страниц с разными протоколами мы обнаружили и иные источники дублей, как, например, страница https://unium.ru/blogs/unium/?category=10, которые необходимо исключить из результатов выдачи поисковых систем.

Одновременно с этим, ряд страниц, не обладающих ценными свойствами, был допущены к индексации. Среди них — https:\/\/unium\.ru\/promo\/result\/

Такие ошибки можно устранить, разместив корректные указания для поисковых систем в файле unium.ru/robots.txt.

Таким образом, обновленный файл robots.txt по адресам https://unium.ru/robots.txt и http://unium.ru/robots.txt с учетом правок, предложенных в аудите, должен выглядеть так:

User-agent: *

Disallow: /*.swf

Disallow: /*?utm_source=*

Disallow: /_backup/

Disallow: /auth/

Disallow: /bitrix/

Disallow: /bitrix_personal/

Disallow: /*search

Disallow: /contacts/$

Disallow: /developers/

Disallow: /diary/

Disallow: /e-diary/

Disallow: /images/

Disallow: /photo/

Disallow: /upload/

Disallow: /*register=yes

Disallow: /*index.php

Disallow: /*PAGE_NAME=*

Disallow: /teacher/*PAGEN_2=*

Disallow: /teacher/*PAGEN_3=*

Disallow: /teacher/*PAGEN_4=*

Disallow: /teacher/*PAGEN_5=*

Disallow: /teacher/*PAGEN_6=*

Disallow: /teacher/*PAGEN_7=*

Disallow: /teacher/*PAGEN_8=*

Disallow: /teacher/*PAGEN_9=*

Disallow: /teacher/*PAGEN_10=*

Disallow: /*SHOWALL_*

Disallow: /*&ELEMENT_ID=*

Disallow: /*year=

Disallow: /*auth.php

Disallow: /promo/result

Disallow: /*request

Disallow: /*category=

Allow: /*.js

Allow: /*.css

Host: https://unium.ru

Sitemap: https://unium.ru/sitemap.xml

Канонизация основного адреса сайта

На данный момент со страниц сайта https://www.unium.ru/ настроены 301 редиректы на страницы HTTP-сайта:

После внедрения рекомендации по смене главного зеркала сайта для корректного индексирования страниц необходимо настроить 301-й редирект со всех страниц сайта https://www.unium.ru/ с www на url-адреса без www. Например, со страницы https://www.unium.ru/ должен быть настроен 301 редирект на страницу https://unium.ru/, со страницы https://www.unium.ru/kursy/po_matematike/ — на https://unium.ru/kursy/po_matematike/ и так далее.

Чтобы настроить постоянный редирект со страниц сайта https://www.unium.ru/ (должен быть Status:HTTP/1.1 301 Found) на страницы https://unium.ru/ (в выдаче поисковых систем находятся страницы без www), необходимо скорректировать файл .htaccess в корневой папке https://www.unium.ru/:

RewriteCond %{HTTPS} off [OR]

RewriteCond %{HTTP_HOST} ^www.

RewriteRule (.*) unium.ru/$1 [L,R=301]

Точный вид серверных директив зависит от настроек конкретного сервера.

Некорректная обработка ошибки 404

Сайт некорректно выдает ошибку 404 Not Found при запросе ряда несуществующих страниц. В результате неправильной обработки ошибки 404 в индексе поисковых систем образуются такие страницы, как https://unium.ru/opinions/?!=&PAGEN_1=68 и https://unium.ru/teacher/?subject=401.

Они отдают код ответа сервера 200 ОК, говорящий поисковому роботу о том, что страница существует.

Такое поведение сервера приводит к тому, что индекс поисковиков замусоривается большим количеством ошибочных страниц, а поисковый робот распознает их как верные и существующие.

Необходимо поменять настройки сервера, чтобы в ответ на запросы с неверными или устаревшими значениями параметров он отвечал кодом 404 Not Found. Содержимое страниц можно оставить как есть, поскольку код ответа в HTTP-заголовке имеет первостепенное значение для поискового робота.

Коррекция поведения сервера при обращении к адресам страниц без знака “/” в конце строки

Сейчас большинство страниц в ссылочной структуре содержат в конце строки адреса знак “/”, например:

http://unium.ru/kursy/francuzskij_yazyk/

http://unium.ru/kursy/po_himii/

http://unium.ru/kursy/fotografii/dlja_nachinajushhih/

Тем не менее, в некоторых URL знак “/” в конце пропущен, например:

http://unium.ru/contests/bgame_spring_2011

http://unium.ru/e-diary

http://unium.ru/diary

Поиск «Яндекса» легко различает подобные случаи и фильтрует дубли такого типа еще на стадии скачивания страниц роботом. Поиск Google, наоборот, все еще продолжает вносить такие URL в «дополнительный индекс», что плохо сказывается на оценке сайта.

Эту проблему можно решить настройкой постоянных серверных редиректов с кодом ответа 301 для всех страниц, к которым обратились с ошибкой в адресе (в нашем случае это html-страницы с пропущенным знаком “/” в конце строки). Например, обращаемся к адресу http://unium.ru/kursy/po_matematike → получаем с сервера код ответа 301 (постоянно находится по новому адресу) и указание на страницу со знаком “/” → http://unium.ru/kursy/po_matematike/.

Сейчас программное обеспечение на сайте, отвечающее за обработку страниц HTTP, проводит описанную выше процедуру полностью корректно:

Однако при обращении к страницам без знака “/” в конце строки, расположенных по защищенному протоколу HTTPS (на который мы рекомендуем полностью перевести работу сайта), процедура перенаправления проводится с ошибками:

На примере выше страница https://unium.ru/kursy/po_matematike была перенаправлена на неактуальный адрес http:\/\/unium\.ru:443\/kursy\/po_matematike\/ с незащищенным протоколом и портом 443, закрепленным за HTTPS.

Такое поведение может привести к появлению ошибок индексации сайта и плохо сказаться на продвижении.

Чтобы избежать проблем, на сервере потребуется организовать 301 редирект: с URL без знака “/” в конце строки на URL по умолчанию, то есть со знаком “/” для страниц, доступных расположенных по защищенному протоколу HTTPS.

Например, при вводе https://unium.ru/kursy/po_matematike мы получим от сервера код ответа 301 и указание на страницу со знаком “/” в конце строки: https://unium.ru/kursy/po_matematike/.

Скорость загрузки

В своих рекомендациях мы также обращаем особое внимание на скорость загрузки десктопной и мобильной версии сайта. По данным сервиса https://testmysite.thinkwithgoogle.com/, скорость загрузки страниц сайта, например, https:\/\/unium\.ru\/kursy\/francuzskij_yazyk\/ не соответствует требованиям Google и имеет показатель 39 и 100 возможных:

Скорость загрузки — один из значимых критериев как при использовании пользователями, так и при ранжировании сайта в поисковых системах. Низкая скорость загрузки напрямую влияет на конверсию, так как большинство пользователей не будет пользоваться медленным сайтом.

Также можно воспользоваться рекомендациями сервиса PageSpeed Insights от Google. Например, проверим внутреннюю страницу https://unium.ru/kursy/podgotovka_k_gia/:

Сейчас мы видим цифру 11/100 около заголовка «Рекомендации», что является критично низким значением: чем ближе первая цифра к 100, тем лучше скорость загрузки сайта с точки зрения поисковой системы Google. Оптимально – от 80.

Для нашего примера рекомендуется обязательно:

• Оптимизировать изображения.
• Удалить из верхней части страницы код JavaScript и CSS, блокирующий отображение.

Исправить по возможности:

• Использовать кеш браузера.
• Оптимизировать видимое содержимое.
• Сократить JavaScript.

Проверка скорости загрузки внутренней страницы сайта с мобильных устройств показала значение 10/100, что тоже является недопустимым результатом.

Переадресация в навигации по сайту

Мы нашли несколько некорректных редиректов с кодом ответа сервера 301 Moved Permanently. Это может привести к снижению скорости загрузки и неоптимальному распределению ссылочной массы. В нашем случае ссылки через редиректы ведут на страницы с указанием порта в URL. Поисковые системы могут воспринять такие ссылки как дубли.

Исправление «хлебных крошек»

«Хлебные крошки» на сайте https://unium.ru/ организованы некорректно: они либо неполные, либо содержат неправильный URL.

Пример со страницы https://unium.ru/kursy/anglijskogo_yazyka/5_klass/:

«Крошка» «Английский язык» содержит неправильный URL - https:\/\/unium\.ru\/extranet\/kursy\/anglijskogo_yazyka\/ (должен быть https://unium.ru/kursy/anglijskogo_yazyka/).

«Хлебные крошки» на странице https://unium.ru/kursy/skorochtenie_i_razvitie_pamyati/ неполные:

Не учтен раздел https://unium.ru/kursy/razvivayuschie/. «Крошки» на странице должны выглядеть так:

Главная - Курсы – Развивающие - Развитие памяти и скорочтение

Аналогичная проблема наблюдается на всех основных подразделах курсов.

На страницах раздела «Новости» в «крошки» не включена последняя страница (она не должна быть оформлена, как ссылка, но присутствовать должна). Пример «хлебных крошек» для страницы https://unium.ru/news/detail.php?ID=322211:

Главная - Новости - Подведены итоги розыгрыша Iphone-6

Отметим, что последняя «крошка» не должна быть оформлена ссылкой. Иначе получается, что страница ссылается на саму себя.

Таким образом, нужно внести следующие правки:

1. Включить в «хлебные крошки» полный путь до раздела.

2. Заменить некорректные URL с вхождением “extranet” на правильные.

3. Убрать атрибут href с последней «крошки».

После того, как «крошки» будут откорректированы, следует разметить их согласно инструкции: https://developers.google.com/structured-data/breadcrumbs. Размечать HTML-код мы рекомендуем с помощью микроданных http://www.data-vocabulary.org/.

Рассмотрим разметку на примере страницы https://unium.ru/kursy/po_matematike/.

Мы имеем следующую навигационную цепочку:

Главная / Курсы / Математика

Следует обернуть каждый элемент цепочки навигации в блок (например, div) с атрибутами itemscope itemtype=http:\/\/data-vocabulary\.org\/Breadcrumb, где

• itemscope означает, что данный блок описывает элемент;
• itemtype обозначает тип элемента (в нашем варианте – элемент навигации).

Для ссылки добавляем атрибут itemprop="url". Он указывает разметке, что это ссылка. В блок с названием ссылки добавляем атрибут itemprop="title".

Для страницы https://unium.ru/kursy/po_matematike/ модернизируем блок ссылок для «хлебных крошек» (красным цветом выделено то, что необходимо добавить в HTML-код):