Когда пользователи поисковых машин используют аббревиатуры или их расшифровки, то они могут пропустить некоторые довольно важные страницы.
Например, поищите в Yahoo [NASA Moon bombing] (бомбардировка луны NASA) и сравните результаты с выдачей по запросу [National Aeronautics and Space Administration moon bombing] и вы увидите огромную разницу.
А должны ли быть эти результаты одинаковыми? NASA и National Aeronautics and Space Administration это одна и та же организация. С другой стороны, NASA также является аббревиатурой для:
- North American Saxophone Alliance.
- National Auto Sport Association.
- National Association of Students of Architecture.
Кроме того, существует гора Nasa в Швеции, и там же расположена серебряная шахта Nasa. Есть шведская музыкальная группа с таким названием, исполнитель хип-хопа с таким именем, DJ и народность Nasa в Колумбии.
Как поисковая машина должна обращаться с аббревиатурами в запросах? Должна ли она расшифровывать аббревиатуры для улучшения поисковых результатов? Если страница имеет высокий рейтинг по запросу «National Aeronautics and Space Administration», но низкий по «NASA», то должна ли такая страница отображаться в поисковых результатах по термину содержащему NASA?
Именно подобные вопросы поднимаются в патенте Yahoo, опубликованном на прошлой неделе.
Обработка аббревиатур в веб-поиске
Изобретатели: Xing Wei, Fuchun Peng и Benoit Dumoulin
Принадлежит Yahoo
US Patent Application 20090259629
Опубликовано 15 октября 2009
Подано на рассмотрение 15 апреля 2008
Аннотация
Метод обработки аббревиатур в веб-запросах включает:
- создание словаря множества возможных расшифровок потенциальных аббревиатур, связанных с ключевыми словами запроса полученного или ожидаемого поисковой машиной;
- принятие запроса содержащего аббревиатуру;
- расширение аббревиатуры в один из множества вариантов расшифровки аббревиатуры при вероятности корректности такого расширения выше установленной границы, где вероятность определяется с учетом контекста аббревиатуры в запросе, где в контекст включен хотя бы якорный текст;
- отсылка запроса с расшифрованной аббревиатурой поисковой машине для генерации страницы поисковых результатов соответствующей запросу.
Одним из первых шагов, как мы видим, является ассоциация аббревиатур с их расшифровками. Это возможно реализовать при помощи анализа якорного текста, указывающего на страницы, и содержащего как аббревиатуры, так и их расшифровки. Например, если на одни и те же страницы стоят ссылки со словами «NASA» и «National Aeronautics and Space Administration», то в словарь может быть добавлена следующая строка:
- NASA = National Aeronautics and Space Administration.
Но что тогда делать представителям Североамериканского Саксофонного Объединения (North American Saxophone Alliance), которые будут в ответ на запрос «NASA jazz competition» (состязание по джазу NASA) получать ссылки на проекты по освоению Луны? Возможно, словарь аббревиатур может содержать и информацию, полученную из других источников.
При расшифровке аббревиатур поисковой машине следует соблюдать осторожность. В патенте приводятся следующие примеры различного использования аббревиатуры/слова «aim»:
- aim download — судя по всему, здесь «aim» является аббревиатурой «AOL instant messenger».
- aim stock — в данном случае это явно сокращение «alternative investment market».
- aim at improvement — а здесь «aim» используется просто как слово, а не аббревиатура.
Существует минимум три способа для поисковой машины узнать о наличии аббревиатуры:
- Сессии запросов — Если человек искал «aim download» и не увидел релевантного результата, то он скорее всего перепишет запрос как «aol instant messenger download». Рассмотрение подобной информации в логах запросов поисковой машины может помочь в составлении словаря аббревиатур и получении информации об использовании аббревиатур в различных контекстах.
- Якорный текст — Если на одни и те же страницы стоят ссылки с текстом в виде аббревиатуры и ее расшифровки, то между этими текстами можно отследить связь.
- Логи кликов — Переходы людей на одну и ту же страницу со страниц поисковых результатов по различным запросам может означать, что запросы каким-то образом связаны между собой. Чем чаще подобное происходит, тем выше вероятность связи.
Все три метода основываются на участии людей. Проставление ссылок, выбор страниц в поисковых результатах или уточнение запросов во время поиска — все это делают люди. Вся информация доступна для поисковых машин и может быть использована для построения статистической модели, которая подскажет поисковой машине, когда стоит использовать расшифровку аббревиатуры.
Кроме всего вышеописанного, в патенте рассматриваются случаи возможной обработки различных сокращений вроде акронимов, инициальных аббревиатур, составных слов и т.п.
Когда поисковая машина обнаруживает подобное слово в запросе, она может поступить следующим образом:
- Расширить запрос, чтобы включить страницы с аббревиатурой, страницы с расшифровкой аббревиатуры и страницы, содержащие оба написания.
- Предложить пользователю провести поиск по расшифрованной аббревиатуре.
- Проигнорировать расширенную версию и просто выдать результат поиска со страницами, содержащими аббревиатуру.
Выводы
Если вы что-то ищите и используете в поисковом запросе аббревиатуру, то неплохой идеей является повторение поиска с расшифрованной версией аббревиатуры. Особенно, если вам нужна как можно более полная информация по теме.
Если вы публикуете что-то в глобальной сети и используете в тексте аббревиатуры, то неплохо бы на той же странице использовать и расшифровку аббревиатуры. Плюс проверьте, что выдает поисковая машина на запрос с этой аббревиатурой.
Рассмотренный патент принадлежит Yahoo, но вполне возможно, что подобные идеи обсуждались или тестировались разработчиками и других поисковых машин.
Переводной материал,
Теги: