- Ученые разработали неинвазивную систему искусственного интеллекта, которая фокусируется на переводе активности мозга человека в поток текста.
- Система, называемая семантическим декодером, может помочь пациентам, утратившим способность к физическому общению.
- После того, как система ИИ обучена, она может генерировать поток текста, когда участник слушает или представляет себе новую историю.
Алекс Хут (слева), Шелли Джин (в центре) и Джерри Танг (справа) готовятся к сбору данных об активности мозга в Центре биомедицинской визуализации Техасского университета в Остине. Исследователи натренировали свой семантический декодер на десятках часов данных об активности мозга участников, собранных с помощью МРТ-сканера.
Фото: Нолан Зинк/Техасский университет в Остине.
Согласно рецензируемому исследованию, опубликованному в понедельник в журнале, ученые разработали неинвазивную систему искусственного интеллекта, которая фокусируется на переводе активности мозга человека в строку текстов. Естественная неврология.
Система, называемая семантическим декодером, может помочь пациентам, утратившим способность физически общаться после перенесенного инсульта, паралича или других дегенеративных заболеваний.
Исследователи из Техасского университета в Остине разработали систему, частично используя модель трансформатора, аналогичную тем, которые используются в чат-боте Google Bard и чат-боте OpenAI ChatGPT.
Участники исследования обучили декодер, прослушав несколько часов подкастов внутри сканера фМРТ, который представляет собой большой механизм, измеряющий активность мозга. Система не требует хирургических имплантатов.
Кандидат наук. Студент Джерри Танг готовится собирать данные об активности мозга в Центре биомедицинской визуализации Техасского университета в Остине.
Фото: Нолан Зинк/Техасский университет в Остине.
После того, как система ИИ обучена, она может генерировать поток текста, когда участник слушает или представляет себе новую историю. Полученный текст не является точным текстом, а скорее был разработан исследователями с целью зафиксировать общие мысли или идеи.
Согласно пресс-релизу, Обученная система создает текст, который наиболее близко или точно соответствует предполагаемому значению исходных слов участника примерно в два раза быстрее.
Например, когда во время эксперимента участник услышал «У меня еще нет водительских прав», его мысли трансформировались в «Она еще даже не начала учиться водить».
«Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, когда обычно использовались отдельные слова или короткие предложения», — сказал в пресс-релизе Александр Хут, один из руководителей исследования. «Мы получаем модель для декодирования языка, которая продолжается в течение длительного периода времени со сложными идеями».
Участников также попросили просмотреть четыре видеоклипа без звука, находясь в сканере, и система ИИ смогла точно описать из них «определенные события», говорится в релизе.
С понедельника декодер нельзя использовать вне лаборатории, поскольку он использует сканер фМРТ. Но исследователи считают, что в конечном итоге его можно будет использовать в более портативных системах визуализации мозга.
Ведущие исследователи, участвовавшие в исследовании, подали патентную заявку на эту технологию в соответствии с РСТ.
More Stories
Пентагон обеспокоен новыми шпионскими спутниками Илона Маска
Сверхновая, впервые замеченная в 1181 году, выпустила светящиеся нити.
Астрономы ждут, когда звезда-зомби снова взойдет