До 70 объектов и ни одного лишнего слова: как устроена приоритизация в ассистивном ИИ

Представьте устройство, которое видит всё вокруг и честно называет каждый объект: «стул, стол, чашка, человек, телефон, книга, дверь, ещё человек, окно, лампа…». Технически — впечатляюще. На практике — невыносимо. Для человека, который слушает это голосом, такой поток бесполезен: за деревьями названий не видно леса смысла.

Поэтому в ассистивном ИИ самое сложное — не распознать объекты, а решить, о чём сказать, а о чём промолчать. Расскажем, как мы подходим к этому в модуле распознавания Inc.AI.

Распознавание — это только половина задачи

Современная нейросеть-детектор уверенно находит десятки типов объектов в кадре. Наш словарь — до 70 классов: люди, транспорт, элементы городской среды, мебель, бытовые предметы, посуда, электроника, потенциально опасные предметы. Но если просто озвучивать всё подряд, устройство превратится в источник шума, а не помощи. Ценность создаётся на следующем шаге — в фильтрации и приоритизации.

Приоритеты A / B / C

Мы разносим все классы по трём уровням важности:

• Приоритет A — критичное. То, что влияет на безопасность и ориентацию: человек, автомобиль, автобус, светофор, дверь, лестница, нож. Для этих классов мы ставим более чувствительные пороги — лучше сообщить, даже если уверенность чуть ниже, потому что цена пропуска высока.
• Приоритет B — полезное. Детали окружения, повышающие самостоятельность: типы транспорта, предметы быта, электроника, домашние животные. Полезно знать, но не срочно.
• Приоритет C — дополнительное. Классы с меньшей критичностью или повышенным риском ложных срабатываний. Для них пороги строже — чтобы не беспокоить пользователя по пустякам.

Когда в кадре сразу много объектов, модуль выбирает, что сказать, по понятной логике: сначала приоритет класса, затем уверенность распознавания, затем положение объекта (то, что прямо по курсу, важнее периферии), затем размер. Так в первую очередь звучит самое значимое.

Меньше — это больше

Кроме приоритетов, работают ещё два механизма «вежливости»:

• Ограничение числа объектов за цикл. Модуль не пытается перечислить всё — он называет несколько самых важных вещей и останавливается.
• Подавление повторов. Если один и тот же объект остаётся в кадре, устройство не повторяет фразу снова и снова. Оно сообщило — и замолчало, пока ситуация не изменится.

Эти решения кажутся мелочью, но именно из них складывается разница между «технически работает» и «реально помогает». Мы знаем это, потому что направление Inc.AI выросло из реабилитационной индустрии — из задач, где на другом конце устройства всегда конкретный человек, и где перегрузить его информацией так же плохо, как и недоинформировать.

Почему это важно и за пределами ассистивных устройств

Та же дисциплина — «распознать многое, сказать только нужное» — переносится на промышленные применения. Система контроля на участке тоже не должна заваливать оператора сигналами обо всём подряд; ей нужно выделять значимое. Приоритизация, пороги под класс, подавление шума — это универсальный инженерный навык, который мы оттачивали на самой требовательной аудитории.

Хотите ассистивный или промышленный продукт, который говорит по делу, а не по списку? Обсудим, как настроить распознавание и приоритеты под вашу задачу. Связаться →

← Все статьи