Применение технологий искусственного интеллекта у разных производителей слуховых аппаратов

Oticon

В нескольких своих последних платформах Oticon продолжает развивать концепцию BrainHearing (буквально «слушание мозгом»), опирающуюся на важнейшую роль мозга в обработке звуковой информации. Использование технологий искусственного интеллекта дает дополнительные возможности для дальнейших улучшений в рамках данного подхода. Это нашло соответствующую реализацию в новом продукте от Oticon – слуховых аппаратах Intent (буквально «намерение»). В основе технологии в качестве главных аппаратных частей выступают новый высокопроизводительный процессор Sirius и акселерометр (датчик движения), а в качестве программной – обновленная глубокая нейронная сеть второй версии DNN 2.0. Слуховые аппараты Oticon Intent™ используют технологию 4D-датчиков (4D Sensor technology), которая отслеживает движения головы, перемещения тела, разговорную активность, а также окружающую акустическую обстановку. Вся эта информация используется для прогнозирования намерений пользователя в данный момент и соответствующей коррекции параметров работы слуховых аппаратов в реальном времени (Рис. 1). Сотрудники Oticon подчеркивают, что такой подход отличается от традиционного, при котором слуховые аппараты автоматически регулируют параметры работы своих функций на основе окружающей акустической обстановки и данных настройки без учета пожеланий пользователя в конкретный момент времени.

Рис. 1. На рисунке показано улучшение отношения сигнал/шум, измеренное с настройками по умолчанию. Синяя пунктирная линия показывает работу Intent с выключенной технологией 4D sensor. Голубая область показывает разные возможные значения при разном поведении пользователя в одной и той же акустической ситуации. Серая пунктирная линия показывает значения для Real (предыдущая платформа).

4D Sensor technology исходит из того, что разные пользователи могут иметь отличающиеся потребности в одной и той же акустической обстановке. Кроме того, они могут быть различными для одного и того же пользователя в одной и той же акустической ситуации, но в разные моменты времени. 4D Sensor technology дает слуховым аппаратам информацию, необходимую для прогнозирования намерений пользователя. Во время разговора человек обычно делает определенные движения головой (например, кивает), ориентирует свою голову так, чтобы собеседник находился спереди. В особо сложных ситуациях он может пододвигаться ближе, наклонять и поворачивать голову к собеседнику, чтобы лучше слышать его на фоне окружающего шума. Эта активность отслеживается датчиками движения, и слуховые аппараты стремятся обеспечить наилучшие слышимость и разборчивость речи собеседников, ее контраст по отношению к окружающим звукам. При этом, если пользователь перемещается (идет), то в той же акустической обста-новке аппараты будут давать более полную акустическую картину со всеми деталями для лучшей ориентации, не увеличивая контраст между речью и другими звуками. Таким образом, разговор с группой людей, тихая беседа один на один, прогулка по комнате будут обрабатываться слуховыми аппаратами по-разному, несмотря на то, что окружающая акустическая обстановка остается прежней.

Следует отметить, что датчики движения в слуховых аппаратах использовались и ранее другими производителями, но в рамках работы искусственного интеллекта они не применялись.

Слуховые аппараты Intent для оптимизации работы своих функций отслеживают не только поведение пользователя, но и пространственную звуковую картину. Вся полученная информация комбинируется, чтобы создать наиболее подходящий набор параметров работы всех функций для конкретного момента. При этом, независимо от режима работы, во все моменты времени звуки со всех направлений слышны пользователю, меняется лишь баланс между ними. Это достигается благодаря работе технологии MoreSound Intelligence 3.0, использующей глубокую нейронную сеть DNN 2.0.

Первая версия DNN появилась у Oticon на платформе Polaris (слуховые аппараты More) и была обучена на 12 миллионах записей реальных акустических обстановок. Обу-чение было направлено на создание большего контраста между речью и другими звуками. Глубокая нейронная сеть второй версии – DNN 2.0 – обучена на более многообразных акустических ситуациях, чем ее первая версия. DNN 2.0 в Oticon Intent «умеет» распознавать, что следует подчеркнуть (акцентировать), а что должно быть менее заметно. Как результат, DNN 2.0 осуществляет более точный анализ акустической обстановки и баланс звуковой картины с точки зрения более и менее приоритетных звуков. Характерной особенностью также является быстрая адаптация усиления к меняющейся звуковой картине.

Важной составляющей вышеописанных технологий является возможность коррекции их работы при настройке слуховых аппаратов. Программа настройки Genie2 позволяет регулировать степень вмешательства нейросети в обработку сигнала. Для этого нужно указать, в каких категориях акустических ситуаций пользователь испытывает значительные, а в каких – незначительные проблемы. Меньшее вмешательство позволяет лучше сохранить нюансы оригинальной звуковой картины и дать мозгу максимум неизменной информации (предоставляя возможность обрабатывать ее самому), в то время как большее вмешательство способно облегчить мозгу работу по выделению полезного сигнала из общей массы.

Phonak

Специалисты Phonak представили слуховые аппараты, использующие искусственный интеллект, в 2024 году. По их заявлениям, это первые аппараты, оснащенные специализированным чипом для крупномасштабных вычислений с использованием глубокой нейронной сети в реальном времени. При выборе сферы применения ИИ в слуховых аппаратах разработчики Phonak направили свои усилия на более эффективное удовлетворение одной из самых важных потребностей пользователей слуховых аппаратов – понимание речи в шуме.

Для выполнения этой задачи создана технология Spheric Speech Clarity (можно перевести как «четкая речь со всех сторон»). Она дает улучшение в 10 дБ отношения сигнал/шум независимо от расположения источника речи. Несколько исследований, проведенных по разным методикам, показали что использование Spheric Speech Clarity в сложных, шумных обстановках позволяет лучше понимать речь, предпринимая меньше усилий при прослушивании.

Spheric Speech Clarity нашла свое воплощение в слуховых аппаратах на платформе Infinio. Аппараты на этой платформе оснащены отдельным чипом DEEPSONIC™, вычислительная мощность которого позволяет преодолеть ограничения, ранее не дающие возможности полноценно использовать технологии искусственного интеллекта в реальном времени. Согласно информации, предоставленной Phonak, чип DEEPSONIC™ имеет в 53 раза большую вычислительную мощность по сравнению с другими (современными на момент выхода). В отличие от традиционных (если такой термин вообще можно применить к искусственному интеллекту в слуховых аппаратах) подходов с использованием упрощенной глубокой нейронной сети, которая сначала классифицирует акустическую обстановку, а затем осуществляет постобработку звукового сигнала, крупномасштабная глубокая нейронная сеть использует чип DEEPSONIC для мгновенного вычленения, усиления и обратного интегрирования голосов собеседников, поступающих со всех направлений, обеспечивая, таким образом, их четкость на фоне шума. Благодаря этому пользователи могут ожидать лучшего понимания речи с меньшим напряжением и утомлением в сложной акустической обстановке. На момент написания статьи платформа Infinio уже получила свое дальнейшее развитие в виде Infinio Ultra. Кроме того, в модельном ряду Infinio появились и внутриушные аппараты Virto™ R lnfinio (Рис. 2).

Рис.2. Внешний вид внутриушных перезаряжаемых аппаратов Virto™ R lnfinio

ReSound

Слуховые аппараты Vivia от ReSound, в которых применяется искусственный интеллект, позиционируются как самые маленькие слуховые аппараты с функциями ИИ.

Представители ReSound обращают внимание на то, что они предпочитают называть применяемые технологии не искусственным интеллектом, а «дополненным интеллектом» (Intelligence Augmented). С их точки зрения, дополненный интеллект является неотъемлемой частью философии Organic Hearing, которая позволяет создавать продукты и решения, звучащие естественно, дающие возможность пользователям общаться естественным образом.

Рис.3. Слуховые аппараты Enzo IA (слева) и Vivia (справа)

В основе технологий, применяемых ReSound, лежит глубокая нейронная сеть, обученная на 13,5 млн предложений на различных языках. По заявлениям производителя, она совершает 4,9 трлн операций в секунду для выделения речи из окружающего фонового шума. Работа глубокой нейронной сети интегрирована в новую функцию шумоподавления под названием Intelligent Focus, которая включается пользователем самостоятельно в моменты, когда в ней возникает потребность. Intelligent Focus выделяет речь, создавая контраст между ней и окружающим фоновым шумом. Для выполнения этой задачи система из 4-х микрофонов (двух у левого слухового аппарата и двух – у правого), обменивающихся данными в реальном времени, имитирует объединенную структуру нейронов человеческого мозга, обеспечивая адаптивную и эффективную (с точки зрения выделения полезного сигнала) обработку звука.

При разработке большое внимание уделялось не только эффективности, но и миниатюризации размера чипа и оптимизации энергопотребления. ReSound Vivia имеет два чипа, способных осуществлять параллельную обработку сигнала. Чип 360 реализует традиционные для ReSound алгоритмы направленности, шумоподавления и т. д., а чип DNN обеспечивает работу дополненного интеллекта. В базовых сценариях используется чип 360, в случае необходимости в работу вклю-чается и чип DNN (Рис. 4).

Помимо миниатюрных RITE-аппаратов, доступны также перезаряжаемые сверхмощные BTE-аппараты Enzo IA, обладающие вышеописанными технологиями.

Рис. 4. Схема работы Intelligent Focus: одновременная параллельная обработка сигнала двумя чипами

Signia

В продуктах Signia искусственный интеллект применяется для того, чтобы дать возможность пользователям получать помощь в реальном времени при возникновении тех или иных проблем. Этим занимается виртуальный помощник Signia Assistant (помощник Сигния) – высокоинтуитивный инструмент по решению проблем с быстрым откликом. Он является компонентом мобильного приложения Signia Аpp.

Начинающие пользователи часто бывают ошеломлены большим количеством новой информации, полученной при первом визите к слухопротезисту. Как правило, они не могут запомнить все детали после посещения слухопротезиста. Благодаря Signia Assistant вся необходимая информация всегда находится под рукой – в смартфоне пользователя. Виртуальный помощник отвечает на вопросы, связанные с эксплуатацией аппаратов в легкодоступной и понятной форме, представляя собой интерактивное руководство по решению проблем.

Signia Assistant предлагает также персональную настройку предпочтений в отношении звучания слуховых аппаратов. Основной концепт Signia Assistant следующий: когда пользователь испытывает проблемы, он может активировать режим Signia Assistant в мобильном приложении. В ответ на указанную проблему виртуальный помощник предлагает изменения в точной настройке, которые можно сразу же применить. Пользователь принимает или отклоняет решение в зависимости от того, доволен он результатами или нет, а также имеет возможность запросить другие предложения по решению проблемы.Помощь может касаться не только коррекции настройки, но и других аспектов. Например, при жалобах на свист (акустическую обратную связь) Signia Assistant может предложить попробовать поставить ушной вкладыш плотнее (Рис. 5).

Помощник использует следующую информацию для создания предложений по решения проблем:

• акустическая ситуация, в которой пользователь испытывает проблемы;
• облачные анонимные данные других пользователей, полученные на основе использования Signia Assistant;
• индивидуальные предпочтения и особенности пользователя (Рис. 6).

Рис. 5. Пример диалога с Signia Assistant

Рис. 6. Схема работы Signia Assistant

Рис. 7. Диаграмма показывает коэффициент принятия рекомендаций в отношении трех основных категорий проблем (качества звучания, собственного голоса, речи окружающих) и их общий показатель. Черными линиями показана доля пользователей Signia Assistant, обращавшихся к помощнику по данным проблемам. Данные подсчитаны отдельно за три квартала.

Примечательно, что глубокая нейронная сеть, которая анализирует запросы и предлагает пользователю корректировки, работает на облачных серверах, соответственно, не имеет ограничений, связанных с невозможностью обеспечить большую вычислительную мощность и доступную память в самих слуховых аппаратах и смартфоне.

Изменения, вносимые пользователем в настройку с помощью Signia Assistant, доступны для просмотра специалисту, занимающемуся настройкой слуховых аппаратов при очередном визите в клинику. Основываясь на этих данных, слухопротезист может в дальнейшем более эффективно консультировать пациента и корректировать настройку. Таким образом, Signia Assistant помогает также и специалистам по слухопротезированию.

В недавнем исследовании разработчики анализировали данные более 58 тыс. пользователей, полученные с помощью Signia Assistant. В частности, была подсчитана доля рекомендаций, принятых пользователями (т. е. признанных полезными). Это число увеличилось до 80,5 % в последнем квартале, что свидетельствует не только о высокой эффективности Signia Assistant, но и о способности повышать свою эффективность в процессе обучения благодаря накоплению новых данных.

Widex

Widex является единственным производителем, в продуктах которого используется технология машинного обучения пользователем в реальном времени. Впервые она была разработана для слуховых аппаратов Evoke и реализована в мобильном приложении в виде функции SoundSense Learn. Теперь эта технология является компонентом мобильного приложения MySound.

Технология машинного обучения дает возможность пользователю корректировать работу слуховых аппаратов в соответствии со своими пожеланиями и звуковым окружением в реальном времени. Widex применяет оригинальный подход: прямое взаимодействие владельца устройств и «машины». Пользователю не надо объяснять специалисту свои проблемы и пожелания, а специалисту – думать, какой параметр следует скорректировать.

Рис.8. Этапы работы SoundSense Learn

Применение SoundSense Learn выглядит следующим образом: если пользователя не устраивает звучание слуховых аппаратов в конкретной акустической обстановке или он хочет получить лучший результат, он активирует в приложении режим машинного обучения. Искусственный интеллект предлагает два варианта настройки, отличающихся параметрами, наиболее вероятно значимыми для данной ситуации (например, усиление и компрессия на разных частотах). Пользователю предлагается попеременно прослушать оба варианта для сравнения и указать, какой из вариантов ему нравится больше. При этом указывается и степень предпочтения одного или другого варианта с помощью слайдера между вариантами A и B. Это означает, что SoundSense Learn получает информацию не только о том, какой из вариантов лучше, но и насколько он лучше. Если пользователь не может выбрать ни один из предложенных вариантов или вовсе не ощущает между ними разницы, это тоже важная информация для SoundSense Learn (значит, что параметры, которыми отличаются варианты A и B, не важны для решения проблемы и следует пробовать другие). По ответам пользователя прогнозируются дальнейшие корректировки, помогающие решить проблему, и вновь предлагаются два варианта для сравнения. Таким образом, после нескольких сравнений и ответов (до 15-ти) генерируется настройка, которая больше устраивает пользователя в данной акустической ситуации, чем первоначальная. Преимущество такого подхода в том, что пользователь сам оценивает результаты и дает обратную связь простым и понятным способом. Это позволяет искусственному интеллекту из бесчисленного количества комбинаций параметров работы аппаратов подобрать наиболее подходящие для пользователя в данный момент. Результат работы машинного обучения можно сохранить в виде отдельной программы и использовать в дальнейшем в этой или подобных акустических обстановках.

Для повышения эффективности SoundSense Learn теперь использует и облачные вычисления. Кроме того, с согласия пользователя данные обучения могут передаваться в облако и использоваться для дальнейшего обучения и совершенствования технологии.