Разработчик заставил микроконтроллер ESP32-S3 генерировать картинки по тексту

Современные нейросети для генерации картинок по текстовому описанию вроде Stable Diffusion или Flux требуют внушительных вычислительных ресурсов. Для их работы обычно нужны производительные видеокарты с объёмом видеопамяти от 4–8 гигабайт для базовых моделей и до 12–24 гигабайт для наиболее продвинутых алгоритмов. Однако энтузиасты продолжают доказывать, что генеративный искусственный интеллект можно приручить и на чрезвычайно скромном оборудовании.

Эксперимент был поставлен на популярном и доступном микроконтроллере ESP32-S3. Отладочные платы на базе этого чипа стоят всего несколько сотен рублей, а его аппаратные характеристики весьма скромны по меркам мира искусственного интеллекта. Чип оснащён двумя ядрами с частотой 240 МГц и скромным объёмом оперативной памяти всего в 512 килобайт. Более того, в структуре процессора полностью отсутствуют специализированные тензорные ядра, предназначенные для ускорения математических операций с нейросетями.

Главной задачей проекта было запустить честный процесс диффузии прямо на самом чипе, отказавшись от отправки запросов на внешние серверы или в облачные сервисы. Для этого автору пришлось применить целый комплекс оптимизаций. В основе локального алгоритма лежит архитектура латентной диффузии с трансформером (DiT). Чтобы вписать модель в жёсткие ограничения по памяти и производительности, использовалось квантование параметров до формата int8, а также ручные оптимизации на ассемблере под векторные инструкции чипа ESP32-S3.

Результат работы оптимизированного алгоритма оказался впечатляющим для устройств подобного класса. На текстовый запрос «улыбающаяся девушка со светлыми волосами» микроконтроллер генерирует готовое изображение лицом размером 64 на 64 пикселя всего за 5,4 секунды. Этот эксперимент наглядно демонстрирует, насколько далеко зашли технологии оптимизации нейросетей, позволяющие запускать сложные алгоритмы латентной диффузии даже на самых бюджетных процессорах для интернета вещей.