GI Labs выпустила EGO1GS — гарнитуру для обучения роботов движениям человека

Компания General Intelligence Labs (GI Labs) анонсировала EGO1GS — носимую гарнитуру, предназначенную для сбора данных, которые помогут роботам обучаться выполнению человеческих действий. Устройство записывает видео в разрешении 1080p с частотой 30 кадров в секунду, фиксирует движения головы и звук, а также оснащено встроенной моделью EgoHand. Последняя не только отслеживает руки пользователя в реальном времени, но и распознаёт чужие конечности, чтобы игнорировать их присутствие на записях. Это особенно важно, если гарнитура используется в коллективной работе, где действия одного человека могут закрывать обзор другому.

EGO1GS оснастили двумя камерами с глобальным затвором, что исключает искажения при быстрых движениях. Такая технология позволяет точно фиксировать даже стремительные жесты, что критически важно для обучения алгоритмов SLAM (одновременной локализации и картографирования). Угол обзора каждой камеры составляет 157×84 градуса, а расстояние между ними — 63 мм, что приближено к межзрачковому расстоянию человека. Дополнительно устройство комплектуется девятиосевым IMU-модулем для отслеживания пространственного положения и двумя микрофонами для записи стереозвука.

Все данные с камер, микрофонов и датчиков синхронизируются аппаратно через единый тактовый генератор и сохраняются в формате MCAP. Это упрощает дальнейшую обработку и интеграцию с другими системами машинного обучения. Встроенная модель EgoHand не только распознаёт руки в кадре, но и автоматически маркирует фрагменты, где человек выполняет целенаправленные действия. Например, если пользователь берёт предмет или жестикулирует, система выделяет эти моменты, чтобы использовать их в качестве обучающих данных для роботов. Архитектура модели основана на принципах YOLO, а обучение проводилось на размеченных данных от GI Labs.

Для взаимодействия с гарнитурой разработчики подготовили мобильное приложение, где можно просматривать изображения с обеих камер и результат работы EgoHand. Подключение к устройству осуществляется по Wi-Fi или через USB. GI Labs позиционирует EGO1GS как инструмент для исследователей и инженеров, работающих над созданием интеллектуальных роботов, которые должны взаимодействовать с окружающим миром так же естественно, как это делают люди. В первую очередь устройство пригодится в робототехнике, дополненной реальности и системах помощи на производстве, где важна точность восприятия движений.

Пока компания не раскрыла цену и дату начала продаж EGO1GS, но уже известно, что прототипы гарнитуры проходят тестирование у партнёров из сферы ИИ и робототехники. Если проект получит признание, устройство может стать стандартом для сбора обучающих данных в этой области, заменив менее точные и громоздкие решения.