Искусственный интеллект — это владение языком. Должны ли мы доверять тому, что он говорит?

«Я думаю, что это позволяет нам более вдумчиво относиться к вопросам безопасности, — говорит Альтман. «Часть нашей стратегии такова: постепенные изменения в мире лучше внезапных». Или, как выразилась вице-президент OpenAI Мира Моратти, когда я спросил ее о работе группы безопасности, ограничивающей открытый доступ к программному обеспечению: «Если мы собираемся научиться развертывать эти мощные технологии, давайте начнем, когда ставки очень низки». ».

В то время как сама ГПТ-3 Работая на 285 000 ядер ЦП в кластере суперкомпьютеров в Айове, OpenAI работает за пределами района Миссии в Сан-Франциско, на отремонтированном багажном заводе. В ноябре прошлого года я познакомился там с Ильей Соцкефером, пытаясь добиться от непрофессионала объяснения того, как на самом деле работает GPT-3.

— Это основная идея ОПГ-3, — сосредоточенно сказал Соцкевер, наклоняясь вперед в кресле. У него интересный способ отвечать на вопросы: некоторые фальстарты: «Я могу дать вам описание, которое примерно совпадает с описанием, которое вы просили» — прерываются долгими медитативными паузами, как будто он намечает весь процесс ответа.

В конце концов он сказал: «Основная идея GPT-3 — это способ связать интуитивное понятие понимания с чем-то, что можно измерить и понять механически, и это задача предсказания следующего слова в тексте». Другие формы искусственного интеллекта пытаются кодировать информацию о мире: шахматные стратегии великих мастеров, принципы климатологии. Но интеллект GPT-3, если его можно назвать интеллектом, идет снизу вверх: через элементарный глагол предсказывать следующее слово. Для обучения GPT-3 модели дается «подсказка» — несколько предложений или абзацев текста из газетной статьи, например, романа или научной статьи, — а затем ее просят предложить список возможных слов, которые она может использовать. может завершить последовательность, упорядоченную по вероятности. На начальных этапах обучения предлагаемые слова являются ерундой. Задайте алгоритм предложением типа «Автор вычеркнул последнее слово из первого слова…» и догадки будут своего рода потоком чепухи: список — появляется правильное пропущенное слово: «абзац». усиливает и ослабляет любые случайные нейронные связи, которые генерируют это конкретное предположение Все соединения, которые генерируют неправильные предположения Затем он переходит к следующему маршрутизатору Со временем, с достаточным количеством итераций, программа обучается.

Еще в январе OpenAI добавила функцию, которая позволяет пользователям давать прямые инструкции GPT-3 в качестве подсказки, а не просто требовать от них расширения образца текста. Например, в режиме справки GPT-3 однажды получил подсказку: «Напишите эссе, в котором обсуждается роль метапрозы в творчестве Итало Кальвино». Короткий абзац, который начинался так:

Итальянский писатель Итало Кальвино считается экспертом в области метапрозы, типа письма, в котором автор ломает четвертую стену, чтобы обсудить сам процесс письма. Для Кальвино метапроза — это способ исследования природы реальности и того, как истории могут формировать наше восприятие мира. В его романах часто используются игривые структуры и лабиринты, которые манипулируют границами между реальностью и фантазией. В случае, если путешественник находится, например, зимней ночью, читатель постоянно прерывается обсуждением на метауровне акта чтения и характера повествования. . . .

Вы можете давать GPT-3 одну и ту же подсказку снова и снова, и каждый раз она будет генерировать уникальный ответ, некоторые более убедительные, чем другие, но почти все удивительно прямолинейные. Ориентировочные подсказки могут принимать самые разные формы: «Дайте мне список всех ингредиентов соуса болоньезе», «Напишите стихотворение о французской приморской деревне в стиле Джона Эшбери», «Объясните Большой взрыв языком, который восьмилетний -старый понимает». Время от времени первые несколько стимулов GPT-3 такого рода я чувствовал настоящие мурашки по спине. Казалось почти невозможным, чтобы машина генерировала такой четкий и отзывчивый текст, полностью основанный на первоначальном обучении прогнозированию. следующее слово.

Но у ИИ долгая история создания иллюзий интеллекта или понимания, но на самом деле это не так. в много обсуждаемый документ В прошлом году профессор лингвистики Вашингтонского университета Эмили Бендер, бывший исследователь Google Тимнит Гебру и группа соавторов заявили, что большие языковые модели были просто «случайными попугаями»: то есть программа использовала рандомизацию только для того, чтобы ремиксовать предложения, написанные люди. . Недавно Бендер сообщила мне по электронной почте: «Что изменилось, так это не какой-то шаг выше определенного порога к «искусственному интеллекту». наборы данных», а также культура. Технологии, которые «могут иметь люди, которые производят и продают такие вещи», далеки от того, чтобы строить их на основе неточных данных».