OpenAI обещала направить 20% своих вычислительных мощностей на борьбу с наиболее опасными типами ИИ, но так и не добилась успеха.

Вместо этого, по словам источников, команда неоднократно видела запросы на доступ к графическим процессорам, специализированным компьютерным чипам, необходимым для обучения и запуска приложений ИИ, которые были отклонены руководством OpenAI, хотя общий вычислительный бюджет команды никогда не приближался к запрошенному. Был обещан порог в 20%.

Эти разоблачения поднимают вопросы о том, насколько серьезно OpenAI относится к своим публичным обещаниям и следует ли доверять другим публичным обязательствам, которые берет на себя компания. OpenAI не ответила на просьбы прокомментировать эту историю.

В настоящее время компания сталкивается с негативной реакцией из-за использования голоса в функциях генерации речи на основе искусственного интеллекта, которые поразительно похожи на функции актрисы Скарлетт Йоханссон. В этом случае были подняты вопросы о достоверности публичных заявлений OpenAI о том, что сходство между голосом ИИ, которого она называет «Небо», и голосом Йоханссон является чисто случайным. Йоханссон говорит, что Сэм Альтман, соучредитель и генеральный директор OpenAI, связался с ней в сентябре прошлого года, когда дебютировал голос Скай, и попросил разрешения использовать ее голос. Я отказался. Она говорит, что Альтман снова попросила разрешения использовать ее голос на прошлой неделе, прямо перед демонстрацией последней модели GPT-4o, которая использует голос Скай. OpenAI отрицает использование голоса Йоханссон без ее разрешения, заявляя, что заплатила профессиональной актрисе, которую, по ее словам, она не может раскрыть по закону, за создание Sky. Но заявления Йоханссон теперь ставят это под сомнение: некоторые в социальных сетях предполагают, что OpenAI на самом деле клонировала голос Йоханссон или, возможно, каким-то образом смешала голос другой актрисы с голосом Йоханссон, чтобы создать Sky.

Команда OpenAI Superalignment создана под руководством Ильи Суцкевера, сооснователя OpenAI и бывшего главного ученого, об уходе которого из компании было объявлено на прошлой неделе. Ян Лаке, давний исследователь OpenAI, возглавил команду. О своей отставке он объявил в пятницу, через два дня после ухода Суцкевера. Затем компания сообщила остальным сотрудникам команды, численностью около 25 человек, о том, что она расформировывается и что они будут перераспределены внутри компании.

Это был стремительный крах для команды, чью работу менее года назад OpenAI сочла жизненно важной для компании и важной для будущего цивилизации. Сверхинтеллект — это идея будущей гипотетической системы искусственного интеллекта, которая будет умнее всех людей вместе взятых. Это технология, которая выйдет за рамки заявленной цели компании по созданию общего искусственного интеллекта, или AGI — единой системы искусственного интеллекта, столь же умной, как любой человек.

Суперинтеллект, Инк. Он сказал, объявляя состав командыСтремясь убивать или порабощать людей, оно может представлять экзистенциальную угрозу человечеству. «У нас нет решения, которое могло бы направлять и контролировать потенциально сверхразумный ИИ и не допускать его выхода из-под контроля», — говорится в заявлении OpenAI. Команда Superalignment должна была исследовать эти решения.

Это была настолько важная миссия, что компания заявила в своем заявлении, что направит на ее реализацию «20% вычислительных ресурсов, которые мы приобрели на данный момент в течение следующих четырех лет».

Но шесть источников, знакомых с работой команды Superalignment, рассказали, что подобные вычисления группе никогда не поручались. Вместо этого он получил сумму, намного меньшую, чем обычный бюджет компании на выделение вычислительных ресурсов, который пересматривается каждые три месяца.

По словам одного источника, знакомого с работой команды Superalignment, не существует каких-либо четких показателей того, как именно рассчитать 20%, что делает их открытыми для широкой интерпретации. Например, источник сообщил, что команде так и не сообщили, означает ли это обещание «20% в год в течение четырех лет», «5% в год в течение четырех лет» или какую-то переменную сумму, которая в конечном итоге может составить «1% или 2%». «% на четыре года» — первые три года, затем основная часть обязательств на четвертый год. Во всяком случае, все источники удача Эта история подтвердила, что по состоянию на июль 2023 года у команды Superalignment никогда не было ничего, близкого к 20% безопасности вычислений для OpenAI.

Исследователи OpenAI также могут подавать запросы на так называемые «эластичные» вычисления — доступ к дополнительным мощностям графического процессора сверх запланированных в бюджете — для управления новыми проектами между ежеквартальными бюджетными собраниями. Однако эти источники сообщили, что высокопоставленные чиновники обычно отклоняли гибкие запросы команды Superalignment.

Боб МакГроу, вице-президент по исследованиям OpenAI, был руководителем, который сообщил команде об отклонении этих запросов, но другие сотрудники компании, в том числе технический директор OpenAI, участвовали в принятии решений, сообщили источники. Ни МакГроу, ни Моратти не ответили на просьбы прокомментировать эту историю.

Пока команда провела небольшое исследование, оно было опубликовано. бумага Подробно описывая свой опыт успешного получения менее мощной модели ИИ для управления более мощной моделью в декабре 2023 года, источник сообщил, что нехватка вычислительных ресурсов помешала более амбициозным идеям команды.

После своей отставки Лайк в пятницу опубликовал серию постов в X (ранее Twitter), в которых раскритиковал своего бывшего работодателя, заявив: «Культура и процессы безопасности отстают от блестящих продуктов». Он также сказал: «Последние несколько месяцев моя команда шла против ветра. Иногда нам было трудно выполнить вычисления, и завершить это важное исследование становилось все труднее.

Пять источников, знакомых с работой команды Superalignment, поддержали версию Лейке, заявив, что проблемы с доступом к компьютеру усугубились после противостояния перед Днем Благодарения между Альтманом и советом директоров некоммерческой организации OpenAI.

Суцкевер, который был членом совета директоров, проголосовал за увольнение Альтмана и был человеком, выбранным советом для информирования Альтмана об этой новости. Когда сотрудники OpenAI восстали в ответ на это решение, Суцкевер позже написал на X, что «глубоко сожалеет» о своем участии в увольнении Альтмана. В конечном итоге Альтман был переназначен, а Суцкевер и несколько других членов совета директоров, участвовавших в его отстранении, вышли из состава совета директоров. Суцкевер так и не вернулся на работу в OpenAI после того, как Альтмана снова приняли на работу, но официально он покинул компанию только на прошлой неделе.

Один источник не согласился с методом других источников удача Она рассказала о компьютерных проблемах, с которыми столкнулась Superalignment, сказав, что они возникли еще до участия Суцкевера в неудавшемся перевороте, который преследовал группу с самого начала.

Хотя были некоторые сообщения о том, что Суцкевер продолжал удаленно руководить командой Superalignment, источники, знакомые с работой команды, сообщили, что это не так и что Суцкевер не имел доступа к работе команды и не играл никакой роли в руководстве командой после этого. . День Благодарения.

По словам источников, с уходом Суцкевера команда Superalignment потеряла единственного человека в команде, у которого было достаточно политического капитала внутри организации, чтобы успешно отстаивать свои вычислительные ассигнования.

Помимо Лейке и Суцкевера, OpenAI за последние месяцы потеряла как минимум шесть других исследователей безопасности ИИ из различных команд. Один из исследователей, Дэниел Кокотагло, рассказал новостному сайту Vox, что он «постепенно потерял уверенность в лидерстве OpenAI и в их способности ответственно обращаться с AGI, поэтому я ушел в отставку».

В ответ на комментарии Лейке Альтман и соучредитель Грег Брокман, который является президентом OpenAI, опубликовали сообщение на [Leike] За все, что он сделал для OpenAI. Далее они написали: «Нам необходимо продолжать поднимать планку нашей работы по обеспечению безопасности, чтобы соответствовать рискам, связанным с каждой новой моделью».

Затем они высказали свое мнение о подходе компании к будущей безопасности ИИ, который будет включать гораздо больший акцент на тестировании моделей, находящихся в настоящее время в разработке, а не на попытках разработать теоретические подходы к тому, как сделать будущие, более мощные модели безопасными. «Нам нужна очень тесная обратная связь, тщательное тестирование, тщательное рассмотрение на каждом этапе, безопасность мирового класса и гармония между безопасностью и возможностями», — написали Брокман и Альтман, добавив, что «понимание на основе опыта может помочь определить путь вперед».

Люди, с которыми они разговаривали удача Они сделали это анонимно, либо потому, что боялись потерять работу, либо потому, что боялись потерять принадлежащие им акции компании, либо и то, и другое. Сотрудники, покинувшие OpenAI, были вынуждены подписать соглашения о разделении, которые включали строгий пункт о неущемлении достоинства, в котором говорилось, что компания может выкупить принадлежащие им акции, если они публично критикуют компанию или даже если они признают существование этого пункта. Сотрудникам сообщили, что любой, кто откажется подписать соглашение о разделении, также потеряет свои акции.

После Фокса упомянул Что касается этих условий разделения, Альтман написал на X, что он не знал об этом пункте и был «действительно смущен» этим фактом. Он сказал, что OpenAI никогда не пыталась обеспечить соблюдение этого пункта и вернуть кому-либо принадлежащие ему акции. Он сказал, что компания находится в процессе обновления своих документов об увольнении, чтобы «решить» проблему, и что любые бывшие сотрудники, которых беспокоят положения подписанных ими документов об увольнении, могут связаться с ними напрямую по поводу проблемы, и они будут изменены.