Еще одна конференция Яндекса «Yet another conference 2011», прошедшая 19 сентября в Москве, определенно удалась: 3 зала, множество секций и яркие выступления докладчиков, среди которых сотрудники Яндекса, а также специалисты других компаний (Google, Facebook, Opera Software, Kaspersky Lab, Cloudera, Nigma, Shturmann, Cloud9 IDE). Помимо собственно самих докладов участникам конференции надолго запомнится технологическая выставка, организованная в холле, обед, футболки с символикой мероприятия и девушки-слушатели, которых в этом году было достаточно много. Надо отметить, что в этом году вообще было много участников. Многим желающим даже не хватало мест в зале, пришлось стоять у стены или располагаться на полу.
Сразу скажем, что YAC – это конференция для продвинутых. А потому ее аудитория – это программисты, разработчики, админы и прочие люди со знаниями математики выше среднего.
Первый доклад в секции «Математика в компьютерных науках» был посвящен поисковой технологии «Спектр» Яндекса. Андрей Плахов, старший разработчик системы, рассказал, что технология «Спектр» была запущена в конце 2010г. для обработки неоднозначных запросов (когда пользователь вбивает в строку поиска «ягуар», непонятно, что его интересует: автомобиль, животное или товар с таким названием). Результаты выдачи формируются, основываясь на нескольких критериях.
Технология в миллиардах поисковых запросов выделяет объекты, распределяет их по категориям (фильмы, люди, лекарства, автомобили, товары и т.п.). Используя лог запросов, система узнает, какие потребности есть у пользователей относительно разных объектов (например, в автомобилях может интересовать цена, расход топлива и т.п.). «Спектр» объединяет потребности, имеющие смысл для этих категорий, им назначаются веса. Система получает лучшие документы для каждой потребности пользователей. Формируется выдача, в которой главной характеристикой является вероятность найти нужный для пользователя ответ.
Андрей Плахов отметил, что, несмотря на многие сложности (в первую очередь сложность классификации объектов и технологические проблемы), после внедрения «Спектра» уменьшилось количество популярных запросов без кликов, CTR отдельных результатов вырос.
Профессор Лиор Вольф из университета Тель-Авива рассказал об использовании классификаторов для вычисления сходства в изображениях лиц и методе One-Shot-Similarity (OSS), который позволяет распознавать лица на изображениях и даже проводить анализ документов. Также он привел формулу, как вычисляется сходство объектов.
Михаил Денисенко из Нигма.рф поведал аудитории о сервисе Nigma-Математика. Система производит математические расчеты, упрощает выражения, исследует функции, преобразовывает единицы измерения, конвертирует валюту. Например, пользователь может ввести уравнение (даже в виде обычного текста) в строку поиска и получить варианты решения. Набор алгоритмов решения еще недостаточно полон, но система постоянно совершенствуется. В будущем Михаил Денисенко видит Нигму, как нестандартную интеллектуально-поисковую систему. Помимо сервиса «Математика», в Нигме есть раздел «Химия».
Интересной оказалась секция «Администрирование», посвященная мониторингу сайтов. Алексей Симаков (системный администратор Яндекса) рассказал, как решается проблема мониторинга в их компании. Яндекс в настоящий момент имеет 6 дата-центров, десятки тысяч серверов. Их количество из года в год увеличивается, поэтому становится все сложнее диагностировать и решать проблемы. Главные требования к системе мониторинга в Яндексе – надежность, удобство, наглядность, возможность работать во многих дата-центрах. Поэтому специалисты компании создали и продолжают развивать собственную систему мониторинга Juggler.
Роман Андриади, руководитель группы администрирования коммуникационных, контент- и внутренних сервисов Яндекса продолжил тему, рассказав о проблемах, которые возникают при администрировании сервисов. Специалистам приходится обслуживать серверы и сервисы, которые ежедневно обновляются, плюс ежемесячно к ним добавляются новые сервисы. Проблему поломок сервисов решают быстро при помощи костылей. Диагностику упростили, собрав логи в одном месте и осуществляя кластерный мониторинг. Система считает быструю статистику, банит автоматически. Автоматизация и унификация значительно облегчили процесс администирования.
Закончилось мероприятие круглым столом, на котором организаторы ответили на вопросы слушателей.
Видео, фото и презентации можно посмотреть на странице конференции:
Здесь фотографии от участников:
Почитать мнения о конференции можно в Twitter по хэштегу
Теги: