Q: У вас есть единая метрика качества, по которой вы можете оценить выдачу по любому запросу?

A: Частично. У нас есть метрика pfound, являющаяся близким родственником классической метрики DCG, и в основном мы оцениваем выдачу по ней. Некоторые аспекты качества поиска такими метриками не ловятся. Например, не ловится разнообразие выдачи, так как каждый документ мы оцениваем независимо от остальных. Для этих аспектов приходится придумывать отдельные способы оценки.

Q: Состав запросов, интересы пользователей ведь непрерывно меняются. Как вы это учитываете?

A: Сейчас мы смотрим на две выборки общим количеством несколько тысяч запросов в каждой. В одной выборке запросы зафиксированы, в другой постепенно меняются (полностью обновляясь примерно два раза в год). По одной группе мы можем отслеживать “рафинированное” качество ранжирования без учета влияния интересов пользователей, а в другой группе видим влияние реального мира. Новая версия алгоритма, чтобы быть принятой, должна улучшать показатели по обеим группам.

Далее на страницах клуба Яндекс.Поиск