Вышел Manticore Search 29.9.0 с поддержкой фрагментов для векторов

Поисковый движок Manticore Search получил крупное обновление до версии 29.9.0, в которое вошли изменения для работы с векторным поиском и базами данных. Главным нововведением стало появление автоматических эмбеддингов с поддержкой фрагментов. Раньше система создавала один вектор на весь документ и обрезала текст, который не помещался в лимит модели, из-за чего важная информация ближе к концу статьи могла теряться.

Теперь длинные тексты можно разбивать на чанки с помощью пяти разных стратегий, включая фиксированный размер, рекурсивное деление по абзацам или усреднение результатов. Появилась возможность хранить несколько векторов в одном документе и использовать их независимо при поиске методом ближайших соседей. Также добавили защиту от чрезмерного расхода ресурсов на процессоре при обработке слишком длинных текстов локальными моделями.

Разработчики внедрили поддержку UTF-8 в именах таблиц, полей и атрибутов, что позволяет использовать кириллицу и иероглифы в схемах и запросах. Доступ к колоночным атрибутам по умолчанию перевели на отображение памяти через mmap вместо буферизованного чтения с диска, что ускоряет запуск и снижает нагрузку на систему. Кроме того, появилась опциональная нормализация немецкой буквы эсцет для корректного поиска по разным написаниям.

Обновление затронуло и инструменты резервного копирования, которые теперь могут работать с авторизованными установками по паролю или токену, а также использовать стандартные механизмы аутентификации облачных провайдеров. Утилита для бенчмарков обзавелась поддержкой HTTP API и расширенным мониторингом потребления ресурсов процессора и памяти прямо во время тестов.

Команда исправила множество ошибок, связанных с падением сервиса при сложных поисковых запросах, некорректной группировкой результатов и работой гибридного поиска. Совместимость с протоколом Elasticsearch также улучшилась, что упростило интеграцию со сторонними клиентами для массовой загрузки данных без дублирования записей.