PrismML разработала компактную нейросеть Bonsai для умных очков на чипах Qualcomm

Исследовательская лаборатория PrismML представила на отраслевом мероприятии Snapdragon Summit сверхкомпактную языковую модель Bonsai LLM. Главная особенность новой разработки заключается в том, что она спроектирована для прямого запуска на портативных носимых устройствах, а именно на умных очках, использующих аппаратную платформу Qualcomm Snapdragon AR1 Gen 1. Подобный подход позволяет выполнять алгоритмы генеративного искусственного интеллекта локально, не полагаясь на постоянное подключение к облачным серверам.

Ключевым инженерным достижением команды стала оптимизация архитектуры и уменьшение объемов модели. В Bonsai LLM применена концепция однобитной квантованной нейросети, за счет чего ее размер удалось сократить примерно в четыре раза по сравнению с привычными аналогами. Разработчики утверждают, что столь радикальное сжатие обошлось без заметной потери качества: модель сохранила практически весь базовый уровень производительности в стандартных бенчмарках и тестах на логику.

Конкретная модификация Bonsai LLM, ориентированная на носимую электронику, насчитывает 2 миллиарда параметров. При этом модель является полноценно мультимодальной и изначально обучена одновременно обрабатывать как текстовые запросы, так и входящий графический поток. В сценариях использования смарт-очков это играет определяющую роль: камеры устройства могут фиксировать окружающую обстановку, пока встроенный ИИ анализирует происходящее, переводит текст или отвечает на вопросы владельца прямо на лету.

Сам процессор Snapdragon AR1 Gen 1 изначально разрабатывался Qualcomm специально для компактных очков дополненной реальности и умных оправ, где инженеры всегда жестко ограничены скромной емкостью аккумулятора и жестким тепловым пакетом. Локальное развертывание тяжелых нейросетей на таком кремнии долгое время считалось труднодостижимой задачей. Демонстрация PrismML доказывает, что агрессивная оптимизация весов делает запуск продвинутых ИИ-ассистентов вполне реалистичным даже на столь компактном «железе».

Несмотря на успешный технологический показ, выхода потребительских новинок с этой разработкой придется подождать. На текущий момент ни один производитель электроники еще не анонсировал коммерческие умные очки с предустановленной моделью Bonsai. Тем не менее появление подобных легковесных систем очерчивает путь к автономным носимым гаджетам, которым больше не потребуется постоянная привязка к смартфону ради умных функций.