Сравнение моделей Jev и Laya в задачах RAG-реранжирования

В сфере поисковых систем и систем генерации ответов с опорой на внешние источники данных важную роль играет этап реранжирования. Специальный алгоритм получает поисковый запрос вместе с набором найденных документов, оценивает их релевантность и выстраивает в наиболее подходящем порядке. Это позволяет передать языковой модели самые точные и полезные фрагменты текста. Автор свежего исследования провел масштабное тестирование нескольких решений, включая облачную decision-модель Jev от компании TypeSafe и модель с открытыми весами Laya Multilingual.

Для тестирования использовались три стандартных англоязычных набора данных из коллекции BEIR, а также два метода первичного поиска — классический алгоритм BM25 и гибридный поиск, объединяющий текстовые совпадения с векторными эмбеддингами от jinaai. На каждом из 1271 тестового запроса модели обрабатывали по двадцать кандидатов. В качестве основного аппаратного обеспечения для запуска локальных решений применялась мощная видеокарта NVIDIA GeForce RTX 5090 с 32 гигабайтами памяти, в то время как Jev вызывался через облачный интерфейс OpenRouter.

В ходе экспериментов оценивались не только скорость работы, но и итоговое качество ранжирования по метрике NDCG@10. Результаты показали, что облачный Jev и специализированный реранкер Qwen3-Reranker продемонстрировали высокую эффективность, улучшив исходную поисковую выдачу на большинстве наборов данных. При этом модель BGE показала наилучшие показатели скорости обработки, затратив в медиане всего 72 миллисекунды на список документов.

Неожиданным результатом стало поведение модели Laya Multilingual, которая во всех сценариях снижала среднее качество ранжирования относительно базовой выдачи. Дополнительная проверка корректности настроек, включая использование неизрезанных текстов и проверку вероятностей, не выявила технических ошибок в работе адаптера. Полученные данные демонстрируют, что выбор архитектуры для оценки релевантности существенно влияет на общую производительность поискового пайплайна в современных информационных системах.