Дмитрий Дунаев применил LLM и fuzzy‑поиск для очистки каталога 209 тыс. товаров

В крупной торговой сети, охватывающей 150 представительств, было обнаружено более 209 тысяч уникальных наименований товаров, однако из‑за разных форматов записи обычный SQL‑join мог сопоставить лишь около одного процента этих записей. Такая «путаница» приводила к дублированию заказов, ошибкам в учёте и постоянным телефонным уточнениям со стороны менеджеров, которые тратили по пять минут на каждый из‑за бесконечного списка.

На вечерней школе Slerma инженер‑данных Дмитрий Дунаев представил эксперимент, в котором использовал большую языковую модель (LLM) для генерации контекстных эмбеддингов названий товаров, а затем применил нечеткий (fuzzy) поиск по векторам. Было протестировано пятнадцать различных моделей, однако лишь одна из них продемонстрировала оптимальный компромисс между точностью, скоростью и вычислительными затратами, что позволило выбрать её в качестве базовой.

Технология работает так: названия из всех источников преобразуются в векторные представления, после чего с помощью алгоритма Approximate Nearest Neighbour находятся наиболее похожие записи. Нечеткий поиск учитывает опечатки, синонимы и различия в регистре, а LLM помогает «понимать» семантику, объединяя, например, «смартфон X‑10» и «X10 телефон». Интеграция решения в CRM‑систему автоматически подсказывает менеджеру подходящие варианты, устраняя необходимость в ручных звонках.

Результат превзошёл ожидания: покрытие сопоставления выросло с 1 % до более 85 %, а среднее время уточнения одного товара сократилось с пяти минут до нескольких секунд. По оценкам компании, экономия рабочего времени составила несколько человеко‑часов в день, а затраты на разработку решения оказались ниже, чем предполагалось, благодаря использованию открытых моделей и готовых библиотек для эмбеддингов.

Пример демонстрирует, как современные инструменты искусственного интеллекта могут решать традиционные бизнес‑задачи без масштабных инвестиций в инфраструктуру. При этом Дмитрий подчёркнул, что построение собственного AI‑агента имеет смысл лишь при достаточном объёме данных и чётко определённых KPI, иначе выгоднее использовать готовые сервисы или ограничиться простыми правилами. Такой подход открывает путь к более эффективному управлению данными в любой крупной компании.