Кейс · модуль Inc.AI в серийном устройстве
Расширенный ИИ-сценарий для устройства «Робин» (Исток-Аудио) · до 70 классов объектов · версия для B2B-аудитории и партнёров. Кейс показывает модуль распознавания Inc.AI в действии — внутри уже серийно выпускаемого носимого устройства.
До 70
классов объектов с русской озвучкой
A·B·C
три уровня приоритета (важное — первым)
0
нового железа — работает на серийной платформе
Робин 1.3
Raspberry Pi-совместимая платформа, штатный OpenCV
«Робин-ИИ» — это расширение носимого устройства «Робин» для незрячих пользователей, которое превращает камеру устройства в интеллектуального помощника по распознаванию окружения. Решение озвучивает на русском языке до 70 категорий объектов — от людей, транспорта и светофоров до дверей, лестниц, мебели, посуды и потенциально опасных предметов — помогая человеку ориентироваться в городе и дома. Ключевая инженерная ценность: новый ИИ-функционал встроен в уже работающую серийную платформу «Робин» без замены «железа» и без переписывания базового ПО.
01
Расширенный словарь покрывает 8 пользовательских сценариев: люди, транспорт и улица, двери и лестницы, мебель и бытовая техника, личные вещи, посуда и еда, потенциально опасные предметы. У каждого класса — готовая русская метка и короткая фраза для голосового вывода. Классы сгруппированы по приоритетам A/B/C, где приоритет A — это критичные для безопасности объекты (человек, автомобиль, светофор, лестница, дверь).
02
Когда в кадре несколько объектов, решение не «тараторит» список, а выбирает самое важное по понятной логике: приоритет класса → достоверность → объект в центре кадра → размер объекта. Низкодостоверные и дублирующие срабатывания отсекаются, повторные фразы не зачитываются по кругу. Это снижает когнитивную нагрузку на незрячего пользователя.
03
Сценарий запускается на серийной платформе «Робин 1.3» и использует штатную камеру, штатный голосовой канал и штатные настройки. Совместимый режим распознавания работает на том же программном стеке (OpenCV), который уже стоит на устройстве, — установка дополнительных пакетов не требуется. Для расширенного словаря подключается современная нейросеть одним файлом модели.
04
Порог достоверности, порог фильтрации дублей (NMS), разрешение входного изображения (256/320/416/640) и перечень активных классов меняются через конфигурацию или параметры запуска — без вмешательства в код. Можно включить, например, только приоритет A для максимальной скорости и безопасности.
05
Модуль ставится в отдельный каталог и читает настройки устройства, не модифицируя базовое ПО. Штатные сценарии (распознавание купюр, цветов, текста, QR/штрихкодов) продолжают работать. При ошибке ИИ-сценарий корректно завершается и возвращает устройство в исходное состояние без перепрошивки.
06
Каждый запуск пишет лог и формирует структурированный отчёт: дата, версия модели, активные классы, параметры, число обработанных кадров, найденные объекты, ошибки. Это упрощает приёмку, демонстрацию заказчику и дальнейшую сертификацию.
07
Решение спроектировано как переносимый комплект с реестром контрольных сумм, документацией и инструкцией. Это основа для регистрации программы для ЭВМ и заключения лицензионного договора, а архитектура позволяет наращивать словарь и обновлять модель без смены платформы.
Решение не на бумаге: демонстрационные прогоны выполнены на реальной нейросетевой модели из состава ПО «Робин». В тестовых сценах уверенно распознаются объекты приоритета A — критичные для безопасности и ориентации, с понятным значением для незрячего пользователя:
| Объект | Приоритет | Значение для незрячего пользователя |
|---|---|---|
| Человек (Person) | A | Наличие людей рядом, базовая ориентация в пространстве |
| Автомобиль (Car) | A | Дорожная безопасность, предупреждение о транспорте |
| Светофор (Traffic light) | A | Безопасный переход улицы |
Дополнительно проверены: корректная реакция на пустой кадр («Ничего не найдено»), отсев дублей и низкодостоверных срабатываний, штатная обработка ошибок (нет модели / нет камеры) с понятными русскими сообщениями. Конвейер обработки протестирован на полном словаре из 70 классов.
Об ограничениях честно
Конкретные показатели достоверности зависят от условий съёмки, модели и платформы и подтверждаются отдельной методикой тестирования. Мы не обещаем фиксированную точность «из коробки».
Главный инженерный принцип решения — не строить новую платформу, а аккуратно расширить ту, что уже серийно выпускается и эксплуатируется. Поэтому каждый элемент стека выбран так, чтобы встать на существующую инфраструктуру «Робина» с минимальными изменениями.
| Уровень | Технология | Почему именно это / как ложится на наши рельсы |
|---|---|---|
| Аппаратная платформа | Устройство «Робин 1.3» (Raspberry Pi-совместимая среда), штатная камера, аудиоканал, наушник | Серийное изделие Заказчика. Мы используем то, что уже есть в руках у пользователя, — не требуется новое железо, сертификация аппаратуры и переобучение пользователей. |
| Базовое ПО устройства | ПО «Робин 1.3»: главный модуль управления, ротация сценариев, конфиги в текстовых файлах, готовые WAV-сообщения, проигрыватель устройства | Наш сценарий встраивается в существующую ротацию сценариев и читает штатные настройки (порог распознавания, NMS, частота кадров, громкость). Базовое ПО не переписывается — риск регресса минимален. |
| Компьютерное зрение (совместимый режим) | OpenCV DNN + детектор YOLOv3-tiny (из состава ПО «Робин») | Тот же самый стек cv2.dnn, который уже работает в базовом контуре распознавания устройства. Новые зависимости на устройство не ставятся — значит, нет конфликтов библиотек и сложного развёртывания. |
| Компьютерное зрение (расширенный режим) | Нейросеть YOLOv8x, предобучение Open Images V7 (~601 класс) | Современная модель одним файлом покрывает все 70 классов словаря, включая то, чего нет в COCO (двери, лестницы, дверные ручки, уличные фонари, такси, инвалидные коляски). Семейство YOLO уже проверено на платформе на предыдущем этапе (YOLOX). |
| Язык и среда | Python 3, NumPy, OpenCV; опционально ultralytics / onnxruntime | Python — родная среда исполнения сценариев «Робина». Код переносим: тот же модуль запускается и на устройстве, и на тестовом стенде x86-64 для отладки и демонстраций. |
| Сопоставление классов | Словарь русских меток + таблица соответствий COCO/Open Images → 70 классов | Позволяет любой совместимой модели говорить «языком Робина»: единые русские метки и фразы, замены ближайшими аналогами зафиксированы методикой. Модель можно менять — пользовательский опыт остаётся стабильным. |
| Оптимизация под устройство | Настройка разрешения (256/320/416/640), фильтрация классов, ограничение частоты кадров; задел под ONNX/NCNN, квантование | Производительность регулируется конфигурацией под возможности платформы без переписывания модуля — плавный путь от демонстрации к серийной оптимизации. |
| Сопровождение и приёмка | Логи, JSON-отчёты о запусках, manifest с контрольными суммами SHA-256, документация и инструкция | Прозрачность для приёмки и аудита, готовность к регистрации программы для ЭВМ и лицензированию — отчётность встроена в сам продукт. |
Кадр с камеры → предобработка → нейросеть (YOLO) → фильтрация по порогам и классам → подавление дублей (NMS) → приоритизация → русская фраза в наушник.
«Робин-ИИ» — это не отдельный гаджет, а интеллектуальный апгрейд уже существующего и серийно выпускаемого устройства. Решение даёт незрячему пользователю ощутимую новую ценность (распознавание до 70 категорий объектов с приоритизацией и русской озвучкой), при этом встаёт на действующую инфраструктуру «Робина», не требует нового железа и не ломает проверенные функции. Это короткий путь от демонстрации к лицензируемому продукту с понятной экономикой внедрения и масштабирования.
Материал носит маркетингово-технический характер и подготовлен для партнёрской коммуникации. «Робин» — устройство ООО «Исток-Аудио»; модуль распознавания — разработка под брендом Inc.AI (правообладатель — ООО «Инкубатор «ТРИ»).