Мэтт Каттс, руководитель команды по борьбе с поисковым спамом Google, в очередном видеоуроке рассказал, какие стадии оценки проходит новый поисковый алгоритм до официального запуска.
«Какие основные показатели использует Google, чтобы оценить, что одна итерация в ранжировании дает лучшие результаты для пользователей, чем другая?» Джеймс Фостер, Сидней, Австралия
Мэтт Каттс разбивает процесс оценки на три этапа:
(1) Команда асессоров тестирует новый алгоритм в офлайн, оценивая, как изменились результаты ранжирования. На данном этапе проверяется количество спам-страниц в выдаче, а также соответствие качества страниц их позициям. Если в выдаче количество качественных страниц до внесения изменений было больше, то запуск нового алгоритма откладывается. Если в выдаче появились новые страницы, Google может запросить асессоров оценить новые урлы и сравнить их со старыми результатами. На основе этих показателей Google принимает решение о переводе теста на следующий этап.
(2) Liveтесты. Если офлайн тестирование прошло успешно, Google будет тестировать новый алгоритм на небольшой группе реальных пользователей, давая им новый набор тестовых результатов. Если Google видит более высокий уровень кликабельности в новых поисковых результатах, это может означать, что новая выдача лучше, чем старая. Это не всегда объективный показатель, отмечает Мэтт Каттс. В частности, пользователи иногда кликают по спамным страницам в выдаче, хотя объективно выдача становится лучше. Но в целом, чем больше кликов на странице с конкретным поисковым результатом, тем лучше качество результатов.
(3) Для того, чтобы решить все спорные моменты, специальный комитет Google по оценке качества поиска (Google Search Quality Launch Committee) окончательно просматривает результаты тестирования и решает, будет ли новый алгоритм выкатываться на всех пользователей или нет.