Являются ли большие новостные агентства с широким международным покрытием различных тем, огромным количеством репортеров, отредактированными статьями и т.п. лучшими источниками новостей, чем более мелкие локальные газеты или нишевые блоги?
На этой неделе был опубликован патент, поданный в 2003 году, и касающийся ранжирования статей в Google News. В нем обсуждается несколько факторов, которые могут быть использованы для представления новостных статей, основываясь на качестве источника.
Что еще более интересно, патент намекает также на предположения, которые лежат в основе факторов ранжирования. Впрочем, вполне возможно, что за прошедшие годы Google уже изменили некоторые подходы.
Патент не включает в себя описание всех сигналов, которые, возможно, учитывает Google при ранжировании новостных статей.
Также была опубликована техническая, но от этого не менее интересная, статья о поиске в реальном времени, или близко к реальному времени, источника информации в новостных статьях, постах в блогах или веб-страницах. Называется она Detecting the Origin of Text Segments Efficiently (Эффективное определение источника текстового фрагмента) и .
Предпосылки к развитию систем для оценки качества новостных статей описаны в начале патента:
Предположим, например, что человек желает получить последние новости по определенной теме в интернете. Человек обращается к сайту, на котором есть условная поисковая машина. Человек вводит один или несколько терминов, относящихся к интересующей его теме вроде „Ирак“ в поисковую машину для того, чтобы найти источники новостей, предлагающие статьи по данной теме.
Такое использование поисковой машины для нахождения отдельных сайтов, предоставляющих статьи по искомой теме, часто приводит к выводу ранжированного списка в сотни, а то и тысячи пунктов длиной. Каждый из пунктов списка будет соответствовать странице, соответствующей поисковому запросу.
И хотя каждый пункт в ранжированном списке может относиться к искомой теме, источники новостей у них могут различаться по качеству.
Например, CNN и BBC широко признаны высококачественными источниками достоверной информации, профессиональных статей и т. д. В то же время местные источники новостей, вроде общегородских газет, могут быть менее качественными.
Следовательно, существует необходимость в системах и методах улучшения ранжирования новостных статей, основанных на качестве источников новостей с которыми связаны статьи.
Я сомневаюсь в предположении, что источники вроде CNN и BBC могут всегда быть лучше местных источников новостей. Зачастую возможно, что именно местные журналисты и новости могут предоставить детали, предположения и информацию, которую упускают большие организации. Тем не менее, на факторы, указанные в патенте, стоит взглянуть.
Патент:
Системы и методы улучшения ранжирования новостных статей
Изобретатели: Michael Curtiss, Krishna Bharat, Michael Schmitt
Принадлежит Google
US Patent 7,577,655
Одобрено 18 августа 2009
Подано на рассмотрение 16 сентября 2003
Аннотация
Система ранжирует результаты. Система может получить список ссылок. Система может определить источники, к которым относятся ссылки и ранжировать список хотя бы частично основываясь на качестве определенных источников.
В центре внимания патента находится метод ранжирования источников статей на одну тему с целью презентации их в определенном порядке или определения, какие из них стоит отобразить на главной странице Google News или в поисковых результатах Google News.
Процесс ранжирования источников новостей основывается на рассмотрении некоторого количества параметров каждого источника, которые оценивают определенные атрибуты источника.
Вот эти параметры:
Количество статей, появляющихся в источнике за определенный период Предположительно, чем больше статей (уникальных) появляется за период времени в источнике, тем лучше. Как альтернатива, поисковой машиной может рассматриваться количество предложений, опубликованное за определенное время.
Средний объем статьи в источнике Может измеряться в словах или предложениях. Если у CNN в среднем 300 слов на статью, а у местной газеты — 150, то CNN может получить значение этого параметра равное 300, а газета — 150.
Получается что более длинные статьи лучше? Если поисковая машина сравнит топ-100 статей за прошедшую неделю на сайте CNN и на каком-то другом сайте, то будет ли означать больший объем статей более высокое качество? Или сравниваются статьи, написанные по одному информационному поводу? И в таком случае опять же, будет ли более объемная статья более качественной?
Счет горячих новостей Как скоро после важного события новость о нем будет опубликована? Если будут собраны все новости о событии, а затем проведен анализ времени их публикации, то опубликованные раньше всех статьи получат более высокий «счет горячих новостей»,
Паттерн использования Если поисковая машина отслеживала бы количество людей, перешедших по ссылке на определенный источник новостей, в случае предоставления им ссылки в результате поиска, то какие источники предпочитали бы люди? Своеобразное измерение популярности источников новостей.
Мнение людей об источнике новостей Можно провести опрос среди пользователей поисковой машины. Возможны и другие методы измерения. Например, газеты можно сравнивать по количеству полученных Пулитцеровских премий. Также может учитываться возраст источника новостей как «мера доверия общества». Возможно предоставление людям частей статей из разных источников для оценки.
Статистика циркуляции источника новостей Может быть использована статистика циркуляции печатных публикаций источника новостей, статистика от Media Metrix и Nielsen Netratings и другие способы измерения трафика источника.
Размер коллектива, работающего в источнике новостей Может учитываться количество различных имен журналистов в статьях.
Количество новостных бюро, связанных с источником новостей Это, похоже, относится к большим и давно работающим новостным агентствам.
Оригинальные наименования в статьях источника новостей
Под наименованием в данном случае подразумевается имя, название местности, организация или любая вещь, имеющая собственное название.
В случае, когда собраны все статьи об определенном событии, и одна из них упоминает наименования, которые не упоминаются в других статьях, эта одна статья получит более высокий рейтинг. Этот параметр может показывать, что источник новостей «способен создавать оригинальные репортажи». Но есть и некоторые ограничения к применению этого подхода. Например, должны учитываться даты выхода статей с наименованиями, чтобы знать в какой статье и когда впервые появилось новое наименование. Также при определении уникальности наименования поисковая машина может обращать внимание на варианты написания и аббревиатуры.
Количество тем, на которые создается контент в источнике новостей Статьи могут быть рассортированы по темам и диапазон тем может быть использован для определения глобальности источника. Похоже, что данный параметр отдает предпочтение источникам с большим количеством обсуждаемых тем. Но ведь возможно, что статьи нишевого узконаправленного источника будут гораздо более качественными в своей теме.
Международное разнообразие Тут оценивается количество стран из которых идет трафик на новости в сети. Поисковая машина может обращать внимание на что-то вроде IP адресов людей, переходящих по ссылкам на новости, для определения как широка международная аудитория источника.
Стиль изложения новостей Поисковая машина может использовать автоматическую оценку для анализа орфографии, грамматики и уровня читабельности статей в источнике.
Также могут учитываться и другие факторы вроде количества ссылок на сайт.
Выводы
Google подавал множество патентов, связанных с Google News, но ни один из них не углублялся в такие детали используемых при ранжировании статей факторов и сигналов.
Несмотря на то, что патент был подан на рассмотрение почти 6 лет назад, он позволяет кое-что узнать об алгоритмах оценки новостных статей. Возможно, какая-то версия этого алгоритма используется и по сей день. Возможно, до сих пор используются некоторые факторы и параметры.
Впрочем, некоторые предположения в патенте вызывают сомнение.
Например, представим, что произошло серьезное открытие в физике. Известный сайт о физике опубликовал детальную статью об открытии. Но чуть раньше статью опубликовали на сайте международной новостной компании, которой больше сотни лет, у которой офисы по всему миру и гораздо большие объемы циркуляции материала. При этом статью писал журналист не особо разбирающийся в физике. Какую из этих статей предпочли бы вы, если бы интересовались физикой?
Переводной материал,
Теги: