Но в отличие от многих других статей, этот канал рассказывает о том, как обучалась эта машину: она прослушала 300 миллионов записей.
Большинство инструментов искусственного интеллекта, разрабатываемых в этой области, обучаются на аудиозаписях кашля или дыхания. Запись сопровождается медицинской информацией о человеке, издающем эти звуки. Например, клипы могут иметь метку, что на момент записи у человека был бронхит. Инструмент позволяет связать особенности звуков с меткой данных в процессе обучения. Это так называемое «обучение с учителем».
Вместо этого исследователи Google
использовали обучение с частичным привлечением учителя, которое опирается на неразмеченные данные. Учёные собрали из общедоступных видео на YouTube более 300 миллионов коротких звуковых фрагментов кашля, дыхания, покашливания и других человеческих звуков.
Каждый клип был преобразован в визуальное представление звука, так называемую спектрограмму. Затем исследователи «заблокировали» некоторые сегменты спектрограмм, чтобы помочь модели научиться предсказывать недостающие части. Это похоже на то, как обучают большие языковые модели, лежащую в основе чат-ботов. Например, ChatGPT именно так на множестве примеров текста обучался предсказывать следующее слово в предложении. Используя этот метод, исследователи создали то, что они называют базовой моделью, которую, по их словам, можно адаптировать для самых разных задач.
По словам
Яэль Бенсуссан, область медицинской акустики или «аудиомики» является многообещающей: «Акустическая наука существует уже несколько десятилетий. Отличие заключается в том, что теперь, благодаря искусственному интеллекту и машинному обучению, у нас есть средства для сбора и анализа очень большого количества данных».
Бенсуссан является соруководителем исследовательского консорциума, который сосредоточился на изучении голоса как биомаркера здоровья: «Существует огромный потенциал не только для диагностики, но и для скрининга и мониторинга. Мы не можем повторять сканирование или биопсию каждую неделю. Вот почему голос становится действительно важным биомаркером для мониторинга заболеваний. Это не инвазивно и требует совсем немного ресурсов».
Крайне интересным оказался вопрос об использовании данной технологии в медицине, и мы решили подробнее об этом расспросить нашего эксперта.