Как Amazon научил Алексу говорить по-ирландски

Как и Генри Хиггинс, вокалист пьесы Джорджа Бернарда Шоу «Пигмалион», Мариус Котеску и Георгий Тенчев недавно показали, как их ученик пытается преодолеть трудности с артикуляцией.

Два специалиста по данным, которые оба работают на Amazon в Европе, обучали Alexa, цифрового помощника компании. Их миссия: помочь Алексе освоить английский с ирландским акцентом с помощью искусственного интеллекта и записей носителей языка.

Во время демонстрации Алекса рассказала о памятной ночи. «Вечеринка прошлой ночью была такой сумасшедшей», — наконец сказала Алекса, используя ирландское слово для развлечения. «По дороге домой мы купили мороженое и были рады выйти».

Мистер Тенчев покачал головой. Алекса опустила букву «р» в слове «Вечеринка», что сделало слово плоским, как тьфу-тьфу. Он пришел к выводу, что он очень британец.

Технологи являются частью команды Amazon, которая работает в сложной области науки о данных, известной как декодирование звука. Это сложная проблема, которая приобрела новое значение на волне развития ИИ, поскольку исследователи считают, что загадка речи и технологий может помочь сделать устройства, боты и синтезаторы речи на основе ИИ более разговорными, то есть способными понравиться многим. региональные игроки. акценты.

Работа с фонематическим распутыванием включает в себя больше, чем просто понимание словарного запаса и грамматики. Высота тона, тембр и акцент говорящего часто придают точное значение словам и эмоциональный вес. Лингвисты называют эту языковую функцию «отображением», и машины с трудом освоили ее.

Только в последние годы, благодаря достижениям в области искусственного интеллекта, компьютерных чипов и других устройств, исследователи добились успехов в решении проблемы декодирования звука, превращая сгенерированную компьютером речь в нечто более приятное для слуха.

По словам исследователей, такая работа может в конечном итоге привести к взрыву «генеративного ИИ», который представляет собой технологию, позволяющую чат-ботам генерировать свои собственные ответы. Чат-боты, такие как ChatGPT и Bard, однажды могут полностью работать с голосовыми командами пользователей и отвечать устно. В то же время голосовые помощники, такие как Alexa и Siri от Apple, станут более разговорными, что может оживить интерес потребителей к технологическому сектору, который, похоже, застопорился, считают аналитики.

Заставить голосовых помощников, таких как Alexa, Siri и Google Assistant, говорить на нескольких языках, было дорогим и трудоемким процессом. Технологические компании наняли актеров озвучивания для записи сотен часов речи, что помогло создать искусственные голоса для цифровых помощников. Усовершенствованные системы искусственного интеллекта, известные как «модели преобразования текста в речь», поскольку они преобразуют текст в естественно звучащую синтетическую речь. я только начинаю упрощать этот процесс.

Технология «теперь способна создавать человеческий голос и синтетический голос на основе ввода текста на разных языках, диалектах и ​​диалектах», — сказала Марион Лабори, главный стратег Deutsche Bank Research.

Amazon была вынуждена догнать таких конкурентов, как Microsoft и Google, в гонке искусственного интеллекта. В апреле Энди Джасси, генеральный директор Amazon, сказал: для аналитиков Уолл-Стрит что компания планировала сделать Alexa «более активной и говорящей» с помощью передового генеративного искусственного интеллекта Рохита Прасада, главного научного сотрудника Amazon по Alexa. он сказал CNBC В мае он увидел в голосовом помощнике «мгновенно доступный личный ИИ» с голосовым управлением.

Ирландская Alexa дебютировала в коммерческих целях в ноябре, после девяти месяцев обучения, чтобы понять, а затем говорить с ирландским акцентом.

«Акцент отличается от языка, — сказал г-н Прасад в интервью. Методы искусственного интеллекта должны научиться извлекать акцент из других частей речи, таких как интонация и частота, прежде чем они смогут воспроизвести характеристики местных диалектов — например, возможно, более плоское «а», а более сильное произношение «т».

По его словам, эти системы должны обнаруживать эти закономерности, «чтобы они могли создать совершенно новый акцент». «это сложно.»

Еще труднее попытаться заставить технологию выучить новый акцент практически самостоятельно, из речевой формы с другим звучанием. Это то, что команда г-на Котеску попыталась создать ирландской Alexa. Они в значительной степени полагались на существующую модель речи, состоящую в основном из английского британского акцента — с гораздо меньшим выбором американских, канадских и австралийских акцентов, — чтобы научить их говорить на ирландском английском.

Команда столкнулась с различными языковыми проблемами англо-ирландского языка. Ирландцы склонны опускать «h» в «th», произнося буквы как «t» или «d», например, делая «bath» похожим на «bat» или даже «bad». Ирландский английский также является ротическим, что означает, что буква «r» произносится чрезмерно. Это означает, что буква «р» в слове «вечеринка» будет произноситься более отчетливо, чем то, что вы могли бы услышать из уст лондонца. Алексе пришлось выучить и освоить эти особенности речи.

Ирландский английский «сложный», сказал г-н Котеску, румын и главный исследователь ирландской команды Alexa.

Речевые модели, поддерживающие вербальные навыки Alexa, в последние годы стали более продвинутыми. В 2020 году исследователи Amazon обучат Alexa Он свободно говорит по-испански От англоговорящей модели.

Г-н Котеску и его команда рассматривали диалекты как следующий рубеж для речевых возможностей Alexa. Они разработали ирландскую Алексу так, чтобы она больше полагалась на искусственный интеллект, чем на актеров, чтобы построить свою модель речи. В итоге ирландка Алекса прошла обучение на относительно небольшой группе — около 24 часов записей голосовых актеров, которые продекламировали 2000 речей на ирландском английском.

Сначала, когда исследователи Amazon представили ирландские записи все еще обучающейся ирландке Алексе, произошли некоторые странные вещи.

Иногда из ответа просачивались буквы и слоги. Иногда буквы «S» слипаются. Одно-два слова, иногда решающие, были необъяснимо бормотаны и неразборчивы. По крайней мере, в одном случае женский голос Алексы опустился на несколько октав, звуча более мужественно. Хуже того, мужской голос звучал отчетливо по-британски, что-то вроде глупости, которая могла бы вызвать удивление в некоторых ирландских домах.

«Это большие черные ящики», — сказал Тенчев, болгарин и главный научный сотрудник Amazon, работающий над проектом, о моделях речи. «У вас должно быть много опыта, чтобы настроиться на него».

Это то, что сделали техники, чтобы исправить «партизанскую» оплошность Алексы. Они распутывали речь, слово за словом, звук (наименьший слышимый фрагмент слова) за звуком, чтобы точно определить и точно настроить, где Alexa проскальзывает. Затем они передали модели ирландской речи Alexa больше записанных аудиоданных, чтобы исправить вербальную ошибку.

Результат: «r» возвращается в «party». Но потом буква «п» исчезла.

Поэтому специалисты по данным снова проделали тот же процесс. Наконец, они сосредотачиваются на звуке, содержащем пропущенную букву «п». Затем они доработали модель так, чтобы звук «р» вернулся, а звук «р» не исчез. Алекса наконец-то научилась говорить как дублинка.

С тех пор два ирландских лингвиста — Эйлин Вон, преподающая в Университете Лимерика, и Кейт Тэллон, докторант, работающая в лаборатории фонетики и речи в Тринити-колледже в Дублине — поставили Алексе высокие оценки за ирландский акцент. Они сказали, что то, как ирландка Алекса подчеркнула «р» и смягчила «т», прекратилось, и Амазонка правильно уловила акцент.

«Мне это кажется реальным», — сказала мисс Таллон.

Исследователи Amazon заявили, что довольны в основном положительными отзывами. Их речевые модели так быстро распутали ирландский акцент, что дало им надежду, что этот акцент можно воспроизвести где-нибудь еще.

И писали на языке А Январская исследовательская работа Об ирландском проекте Alexa.