Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
22 Августа 2017 в 20:29

Яндекс запустил новый алгоритм ранжирования «Королёв»

8 11708

22 августа в Москве состоялась презентация нового алгоритма ранжирования Яндекса. Его представил руководитель службы релевантности и лингвистики Александр Сафронов. Алгоритм получил название «Королёв».

Новый алгоритм является еще одним шагом на пути к лучшему пониманию пользователей. В его основе лежат нейронные сети.


Работу в направлении обучения нейронных сетей Яндекс начал с модели DSSM. Также на помощь пришли пользователи, задающие огромное число запросов ежедневно. На основании этого массива данных составляются обучающие примеры для нейронной сети.

В новом алгоритме было увеличено влияние нейронный сетей на ранжирование. Одной из интересных черт нововведения стало применение нейронных сетей к тексту документов.

Яндекс внедрил модель, которая, при оценке смысловой близости смотрит не только на заголовок, но и на тело страницы.

Еще одно нововведение связано с тем, что нейронные модели научили учитывать тексты запросов, по которым ранее на эту страницу приходили пользователи. Изменения коснулись и количества страниц, к которым применяются нейронные сети.

Ранее Яндекс использовал нейронные сети для ограниченного числа страниц (приблизительно для 150) по запросу из-за большой вычислительной сложности. Теперь число страниц увеличили до 200 000.

Команда Яндекса верит, что машинное обучение, а особенно нейросети, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Однако здесь невозможно обойтись без помощи людей. Поэтому необходимо показывать машине огромное число примеров, чем и занимаются пользователи поиска.

Однако в помощи нуждается также и Матрикснет, который строит формулу ранжирования. Чтобы поиск продолжал развиваться, люди должны постоянно давать оценку его работе. Раньше выставлением оценок занимались только сотрудники Яндекса – асессоры. Однако позже специалисты компании решили привлечь к этому и пользователей, запустив Яндекс.Толоку.

Сейчас в Толоке зарегистрировано более миллиона пользователей. Они анализируют качество поиска и принимают участие в улучшении других сервисов компании. Задания на Толоке оплачиваются. За два года существования сервиса толокеры выставили около двух миллиардов оценок.

Команда Яндекса подчеркнула, что новый поиск – это результат совместной работы рядовых пользователей и специалистов компании.

8 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
  • Дмитрий Горошко
    4
    комментария
    0
    читателей
    Дмитрий Горошко
    1 месяц назад
    Что-то пошло не так. Пшик космического масштаба от Яндекса.
    -
    1
    +
    Ответить
  • Виктор Кудрявцев
    4
    комментария
    0
    читателей
    Виктор Кудрявцев
    2 месяца назад
    Присоединюсь к комментаторам ниже, кто делает задания в Толоке? Явно не гении мира сего и даже не просто умны люди, ведь они ценят свое время.
    -
    2
    +
    Ответить
  • Гость
    17
    комментариев
    0
    читателей
    Гость
    2 месяца назад
    Мда, я давно догадывался, что человечество, начиная с Адама, не эволюционирует, а деградирует... Вот то же самое и с поиском - что у гугла, что у яндекса. Если раньше я мог управлять поиском путем изменения формулировки запроса, то сейчас этого так просто не сделать - надо извращаться с кавычками и пр. Если раньше я сам был интеллектом, когда формулировал запрос, то сейчас поисковик заменил мой интеллект, мои профессиональные навыки и знания, своим искусственным интеллектом, обученным... кем?...
    Мда, я давно догадывался, что человечество, начиная с Адама, не эволюционирует, а деградирует... Вот то же самое и с поиском - что у гугла, что у яндекса. Если раньше я мог управлять поиском путем изменения формулировки запроса, то сейчас этого так просто не сделать - надо извращаться с кавычками и пр. Если раньше я сам был интеллектом, когда формулировал запрос, то сейчас поисковик заменил мой интеллект, мои профессиональные навыки и знания, своим искусственным интеллектом, обученным... кем??? - домохозяйками, разумеется. В итоге, на конкретный профессиональный вопрос я стал получать размытые нечеткие ответы общего зарактера. Если например меня интересует, какими именно шурупами лучше всего крепить пластиковый плинтус к стене, то поисковики сейчас мне выдадут обширное описание типов плинтусов, историческую справку, где купить и т.д и тп, но мне это не нужно, мне нужен краткий ответ типа: саморез с прессшайбой 4.2х35 и нейлоновый дюбель 6х30. Без воды. Также обнаружил проблему с поиском по фразам из логов. Раньше и гугл и яндекс на первые места ставили страницы с обсуждением ошибок, точно соответствующим логам. А с запуском семантического поиска и в гугле и в яндексе началась хрень - приходится использовать кавычки и язык запроса...

    Да я и сам экспериментировал с семантическим поиском на корпусе в миллион документов, но в итоге отказался от него изза непрактичности. Да, результаты я получал интересные. Удивительно видеть в выдаче страницы, соответствующие в целом по смыслу, но в которых нет ни одного слрва из запроса... Однако я поймал себя на мысли, что что то мне в этих результатах не нравится и потом понял, что именно - результаты были тематически размыты, обобщенные, неконкретные, хоть и были в тему в большинстве своем. Т.е. практическая польза оказалась меньше, чем от классического поиска по словам...

    А они еще нейронеую сеть прикрутили... А нейронеые сети отличаются тем недостатком, как непрозрачность их работы, то есть они по сути являются черным ящиком...
    -
    6
    +
    Ответить
    • Mih
      2
      комментария
      0
      читателей
      Mih
      Гость
      1 месяц назад
      Скажу от себя что к гуглу у меня более положительное отношение - он настолько нагло и беспринципно не пытается монополизировать выдачу а в частности ком. запросы, видимо цели глобальнее. О яше могу только промолчать в моих глазах он давно обделался.
      -
      1
      +
      Ответить
    • Roman Popov
      44
      комментария
      0
      читателей
      Roman Popov
      Гость
      2 месяца назад
      Так в этом весь смысл алгоритма - единственный нормальный ответ на коммерческий запрос будет в Директе. А в выдаче в ответ на запрос "купить" мне расскажут, что нужно помнить, чтобы купить, на какие типы денег можно "купить", зачем мне вообще это "купить" надо, но купить так и не предложат. =)
      -
      3
      +
      Ответить
  • Roman Popov
    44
    комментария
    0
    читателей
    Roman Popov
    2 месяца назад
    Геноцид качественной выдачи продолжается... =))) Прошлых достижений им показалось мало...
    -
    7
    +
    Ответить
  • Сергей Дембицкий «Sima-Land.ru»
    10
    комментариев
    0
    читателей
    Да здравствует, Королёв!!!
    -
    0
    +
    Ответить
  • Johnnie Walker
    1
    комментарий
    0
    читателей
    Johnnie Walker
    2 месяца назад
    никогда такого не было и вот опять...
    -
    13
    +
    Ответить

Отправьте отзыв!