Теги:
22 августа в Москве состоялась презентация нового алгоритма ранжирования Яндекса. Его представил руководитель службы релевантности и лингвистики Александр Сафронов. Алгоритм получил название «Королёв».
Новый алгоритм является еще одним шагом на пути к лучшему пониманию пользователей. В его основе лежат нейронные сети.
Работу в направлении обучения нейронных сетей Яндекс начал с модели DSSM. Также на помощь пришли пользователи, задающие огромное число запросов ежедневно. На основании этого массива данных составляются обучающие примеры для нейронной сети.
В новом алгоритме было увеличено влияние нейронный сетей на ранжирование. Одной из интересных черт нововведения стало применение нейронных сетей к тексту документов.
Яндекс внедрил модель, которая, при оценке смысловой близости смотрит не только на заголовок, но и на тело страницы.
Еще одно нововведение связано с тем, что нейронные модели научили учитывать тексты запросов, по которым ранее на эту страницу приходили пользователи. Изменения коснулись и количества страниц, к которым применяются нейронные сети.
Ранее Яндекс использовал нейронные сети для ограниченного числа страниц (приблизительно для 150) по запросу из-за большой вычислительной сложности. Теперь число страниц увеличили до 200 000.
Команда Яндекса верит, что машинное обучение, а особенно нейросети, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Однако здесь невозможно обойтись без помощи людей. Поэтому необходимо показывать машине огромное число примеров, чем и занимаются пользователи поиска.
Однако в помощи нуждается также и Матрикснет, который строит формулу ранжирования. Чтобы поиск продолжал развиваться, люди должны постоянно давать оценку его работе. Раньше выставлением оценок занимались только сотрудники Яндекса – асессоры. Однако позже специалисты компании решили привлечь к этому и пользователей, запустив Яндекс.Толоку.
Сейчас в Толоке зарегистрировано более миллиона пользователей. Они анализируют качество поиска и принимают участие в улучшении других сервисов компании. Задания на Толоке оплачиваются. За два года существования сервиса толокеры выставили около двух миллиардов оценок.
Команда Яндекса подчеркнула, что новый поиск – это результат совместной работы рядовых пользователей и специалистов компании.
