Люди получают сайты в виде картинки в браузере, а поисковые роботы – HTML-файлы с определенной зашифрованной информацией. Для обычного пользователя это просто набор символов, а для робота это четкая инструкция к сканированию данных. Из статьи узнаете, что содержится в ответе сервера и на какие элементы нужно в первую очередь обращать внимание для успешного продвижения сайта.
Что включает ответ сервера
Ответ сервера может выглядеть вот таким образом:
HTTP/1.1 200 OK
Date: Mon, 14 Feb 2022 10:39:57 GMT
Server: Apache/2.2.15 (CentOS)
Content-Type: text/html; charset=utf-8
Content-Length: 35171
Last-Modified: Mon, 14 Feb 2022 00:39:57 GMT
Connection: close
Expires: Mon, 21 Feb 2022 00:39:57 GMT
Cache-Control: max-age=3600
В этом ответе содержится статус и заголовки. Разберемся подробнее с каждой строкой.
Статус (код) ответа сервера
Это информация в первой строке. В нашем примере:
HTTP/1.1 200 OK
Коды статусов – это последовательности из трех чисел с небольшим текстовым пояснением. Данные в коде ответа влияют на то, как поисковый робот или браузер будет обрабатывать содержимое вашей страницы. Все коды ответа сервера объединяются в 5 групп или классов состояния, которые определяются по первой цифре из трех. Рассмотрим каждый класс.
1XX – это временные информационные коды. Такой ответ означает, что запрос принят и находится в обработке. Например, код 102 Processing означает, что сервер получил запрос и обрабатывает его.
2XX. Этот класс означает, что действие, запрошенное клиентом (роботом или браузером), было успешно принято в обработку.
Самый популярный код этого класса – 200 ОК. Если сервер отдает именно его, можете не беспокоиться – обмен информацией между сервером и роботом прошел успешно.
3XX. Эти коды сообщают браузеру или роботу о том, что ресурс был перемещен, и сервер отвечает списком доступных альтернативных вариантов. Самый популярный из этого диапазона – 301 редирект. Он означает, что страница по данному адресу недоступна – она была постоянно перемещена на новый адрес. Такое может произойти, например, в том случае, когда вы перенесли контент на новую страницу, и по старой ссылке он более не доступен. Это положительный ответ для робота, и он не приведет к ошибкам сканирования.
О том, в каких случаях стоит использовать 301 редирект и как его настроить, читайте в этом материале.
4XX. Эти коды предназначены для указания ошибок со стороны клиента либо на то, что запрашиваемой страницы или документа не существует.
Самая известная ошибка – 404. Она означает, что страница была удалена.
В этом нет ничего критичного, но очень важно при такой ошибке оформить несуществующую страницу должным образом: реализовать в общем дизайне сайта и сообщить пользователю, что контент не найден. Предложить ссылку на главную, каталог товаров, контакты или другую альтернативную страницу сайта. О том, как правильно оформить страницу ошибки 404, читайте здесь.
Пример страницы ошибки 404 со ссылкой на главную
5ХХ. Эти статусы означают неудачное выполнение запроса по вине сервера. Наверняка вы видели на экране монитора или смартфона такие ответы как 502 Bad Gateway или 503 Server Unavailablе. Это тревожные сигналы о том, что по техническим причинам сервер не может отдать запрашиваемый контент: либо сервер упал, либо произошли ошибки в работе баз данных, либо случились еще какие-то сбои, временные или постоянные.
Пример страницы ошибки 500 на сайте Тинькофф банка
Для продвигаемых страниц, которые должны попадать в результаты поисковой выдачи, важно, чтобы отдавался корректный код ответа сервера – 200 ОК. При перемещении страницы на другой адрес – 301 Moved Permanently. Тогда страницы будут доступны поисковым роботам и проблем со сканированием и индексированием контента не возникнет. Запомните эти коды ответов и в техническом аудите обращайте на них внимание.
Заголовки ответа сервера
Все остальные строки в ответе сервера, кроме первой, называются заголовками. Это команды, которыми обмениваются друг с другом сервер и клиент, например, поисковый робот. Заголовки используются для согласования метода, протокола, кодировки, языка и многих других параметров.
Вернемся к нашему примеру и посмотрим, какую информацию содержат заголовки:
Date: (дата осуществления запроса) Mon, 14 Feb 2022 10:39:57 GMT
Server: (имя и версия веб-сервера) Apache/2.2.15 (CentOS)
Content-Type: (тип передаваемых данных и кодировка ответа) text/html; charset=utf-8 (это простой текст в кодировке utf-8)
Content-Length: (длина контента в байтах) 35171
Last-Modified: (дата последнего изменения страницы) Mon, 14 Feb 2022 00:39:57 GMT(эта страница последний раз изменялась в такой-то день, в такое-то время)
Connection: (тип соединения) close (закрыто для передачи данных)
Expires: (до этой даты можно хранить страницу или ресурс в кеше) Mon, 21 Feb 2022 00:39:57 GMT
Cache-Control: (настройка времени кеширования страницы браузером и разрешение на кеширование) max-age=3600 (страница может храниться в кеше в течение часа)
Данных в заголовках немало – и это еще не все варианты! Вы можете изучить полный список и убедиться, насколько он огромен.
Самыми значимыми с точки зрения корректной отдачи контента поисковому роботу будут заголовки Content-Type и Last-Modified.
В Content-Type обращаем внимание на то, чтобы кодировка документа совпадала с кодировкой сервера. Если стоит utf-8, так должно быть и в документе, и на сервере, чтобы контент распознался корректно и не вышло сбоев в его сканировании роботом.
Last-Modified – важный параметр, который запрашивает робот, чтобы проверить «свежесть» документа. Робот экономит свои ресурсы и не будет обходить повторно страницы, если они не обновлялись с момента последней проверки. Запрашивая дату Last-Modified у сервера и получая соответствующую информацию, робот принимает решение, уйти со страницы (если она не обновлялась) или просканировать новый контент (если он изменился, о чем говорит дата его изменения). Этот запрос оформляется командой If-Modified-Since, то есть «если были изменения с такой-то даты», и если они были, то будет возвращаться ответ сервера 200 ОК. В этом случае робот переиндексирует новую страницу. Пример – на скриншоте ниже:
Если изменений не было (параметр Last-Modified не менялся), будет отображаться ответ 304 Not Modified и робот повторно сканировать страницу не будет.
Поэтому, если вы обновляете контент, не забывайте проверять, корректно ли отрабатывается заголовок Last-Modified, устанавливается ли свежая дата. Таким образом, вместо повторной перезагрузки страницы и обновления кеша, робот экономит трафик, а сервер отдает меньше данных. Выходит обоюдная экономия.
Как проверить код ответа сервера
Проверить ответ сервера можно самостоятельно или при помощи специальных сервисов.
Проверка кода ответа сервера вручную
Зайдите на сайт через браузер Chrome и откройте консоль клавишей F12 или сочетанием клавиш Ctrl+Shift+Alt. Вам понадобится вкладка Network. Нажмите Ctrl+R. Коды ответа страниц будут в столбце Status:
10+ инструментов проверки кода ответа сервера
Расскажем о популярных сервисах, при помощи которых можно быстро проверить ответ сервера.
Bertal. Кроме HTTP-заголовков страниц сервис позволяет просматривать HTML-код страниц. Работает с протоколами http, https и ftp. Поддерживает боты Яндекса, Google, Bing, Yahoo и Baidu, популярные браузеры.
Сколько стоит: бесплатно.
PR-CY. Многофункциональный сервис для SEO-аудита, мониторинга позиций, анализа контента сайта и других задач вебмастера. В том числе, с помощью него можно проверить и коды ответа. Работает с поисковыми ботами Яндекса и Google. В большинстве инструментов кроме собственно проверки есть еще и рекомендации по оптимизации страницы.
Сколько стоит: есть бесплатный тариф для экспресс-аудита, для доступа к функционалу без ограничений нужно купить подписку от 990 ₽/мес.
Checkmy. Проверяет коды и заголовки ответа сервера. Кроме этого, проверяет исходный код, показывает размер и скорость загрузки страницы, проверяет контент на сжатие, и это далеко не весь функционал. Из плюсов – работает с кириллическими доменами и есть версия для мобильных устройств.
Сколько стоит: бесплатно.
Sitechecker. Подходит для полного аудита и мониторинга сайта. Кроме кодов ответа подсчитывает вес HTML-кода страницы, проверяет страницы с кодом 404 и показывает индексацию поисковыми системами.
Сколько стоит: проверить коды можно бесплатно, но мониторинг сайта и другие важные инструменты будут доступны только по подписке. Она стартует от $29/мес.
Яндекс Вебмастер. В нем есть одноименный инструмент для проверки ответа сервера, который покажет, доступна ли страница для поисковых ботов Яндекса. Важно понимать, что ответ в Вебмастере может не совпадать с тем, который получит поисковый робот, так как инструмент работает через другой IP-адрес. Дополнительно можно узнать срок действия SSL-сертификата. Вебмастер проверяет страницы размером до 10 Мб.
Сколько стоит: бесплатно.
Converseo. Подходит как для проверки HTTP-заголовка одного URL, так и для массовой проверки URL. Готовый отчет можно скачать в формате CSV. Интерфейс минималистичный.
Сколько стоит: бесплатно.
Coolakov. Функционал схож с Converseo. Можно массово проверить коды ответов до 500 URL. Дополнительные функции: проверка доступности сайта, измерение скорости загрузки, проверка ИКС сайта, проверка орфографии.
Сколько стоит: бесплатно.
Headmasterseo. Программа для Windows и Mac, которая отслеживает коды состояния, редиректы и заголовки ответов. Одновременно можно бесплатно проверить до 500 ссылок. Работает с прокси. Готовый отчет экспортируется в CSV.
Сколько стоит: бесплатно до 500 URL, далее тарифы стартуют от $50 и зависят от количества проверяемых URL. Неограниченное количество обойдется в $150.
Плагины для проверки кода ответа сервера
Для проверки кода ответа можно использовать и бесплатные плагины для Google Chrome.
Redirect Path Link – поможет в SEO-аудите сайта и проверит HTTP-заголовки. Работает только с кодами ответа сервера 3XX.
Robots Exclusion Checker – найдет проблемы в оптимизации и индексации сайта, сделает SEO-аудит. Работает во всеми классами кодов и поисковыми роботами Google, Bing и Yahoo.
SEO META in 1 CLICK – помогает проверить коды ответа сервера, проанализировать заголовки h1-h6, проверить alt изображений и многое другое.
Website SEO Checker – бесплатный плагин от Sitechecker. В нем есть тот же набор функций, что и в сервисе: аудит, мониторинг, анализ, проверка кодов ответа и др.
Более подробная информация о кодах ответа сервера с расшифровкой самых популярных в своих классах, а также обзор инструментов для проверки – в видео на канале PromoPult.
Если вы ограничены во времени или знаниях для проверки, анализа и последующей корректной настройки технических параметров сайта, добавляйте ваш ресурс в модуль SEO PromoPult и закажите полный комплекс работ по оптимизации у специалистов системы. Успешного продвижения!