Как Яндекс выбирает тему дня в поиске по блогам

Яндекс рассказал, как образуются темы дня в блогах и как это работает (PDF). Доклад был представлен в рамках II Российской летней школы по информационному поиску (RuSSIR), которая проходила с 1 по 5 сентября в Таганроге, где Яндекс был золотым спонсором.

Для начала поясним, что такое темы дня от Яндекса. Это события или явления больше всего заинтересовавшие блогеров сегодня по сравнению с обычным интересом к ним. В противоположность официальным новостям, где главными считаются те, о которых больше всего пишут СМИ.

По данным докладчиков Андрея Мищенко, Антона Волнухина , в рунете более 5 млн. блогов. Для сравнения, в базе Яндекса по всему интернету, - около 4 млрд. страниц.
• Около 200 тысяч записей блогах каждый день.
• Около 400 тысяч комментариев в день.
• Более 380 миллионов записей всего.
• Более 400 миллионов комментариев.

По мнению Евгения Трофименко, глава отдела продвижения корпорации РБС: « получается, что в средний блог пишут 1 раз в 25 дней, и у одной записи в среднем 2 коммента. :) Маловато!»

Источниками гипотез тем дня являются внешние по отношению к системе определения тем дня, а записи в блогах работают не как источник тем, а как фильтр гипотез. Источниками же гипотез тем дня являются Яндекс.Афиша (названия фильмов, идущих сейчас в кинотеатрах), Яндекс.Открытки (названия праздников, недавно прошедших и скоро наступающих), НИНИ (Непостоянство Интересов Населения Интернета) запросы к Яндексу, Яндекс.Новости (заголовки сюжетов).

Склейка разных тем делается через похожесть списков записей в блогах по этим темам:
• Как установить связь между двумя гипотезами, не имеющими ничего общего в смысле текста? Снова с помощью поискового индекса.
• Если две гипотезы тем дня часто встречаются в одних и тех же записях, - это с большой вероятностью об одном и том же.