Apple выпускает модели искусственного интеллекта с открытым исходным кодом, которые работают на устройстве

Сегодня Apple выпустила несколько моделей больших языков (LLM) с открытым исходным кодом, которые предназначены для работы на устройстве, а не через облачные серверы. Программы LLM, называемые OpenELM (эффективные языковые модели с открытым исходным кодом), доступны по адресу Центральная часть обнимающегося лицасообщество для обмена кодом искусственного интеллекта.

Как показано в официальном документе [PDF]Всего существует восемь моделей OpenELM, четыре из которых предварительно обучены с использованием библиотеки CoreNet, а четыре — модели, настроенные с помощью инструкций. Apple использует стратегию масштабирования слоев, направленную на повышение точности и эффективности.

Apple предоставила код, журналы обучения и несколько версий, а не только окончательную модель обучения, и исследователи, стоящие за проектом, надеются, что это приведет к более быстрому прогрессу и «более заслуживающим доверия результатам» в области искусственного интеллекта на естественном языке.

OpenELM, открытая развивающаяся языковая модель. OpenELM использует стратегию масштабирования слоев для эффективного распределения параметров внутри каждого уровня модели трансформатора, что приводит к повышению точности. Например, при бюджете параметров около 1 миллиарда параметров OpenELM демонстрирует улучшение точности на 2,36% по сравнению с OLMo, при этом требуя в 2 раза меньше токенов для предварительного обучения.

Отходя от предыдущих практик, которые предоставляли только веса модели, код вывода и предварительное обучение на частных наборах данных, наша версия включает в себя полную структуру для обучения и оценки языковой модели на общедоступных наборах данных, включая журналы обучения, несколько контрольных точек и предварительную проверку. точки. Конфигурации обучения.

Apple заявляет, что запускает модели OpenELM, чтобы «расширить возможности и обогатить открытое исследовательское сообщество» передовыми языковыми моделями. Совместное использование моделей с открытым исходным кодом дает исследователям возможность исследовать риски, данные и предвзятости моделей. Разработчики и компании могут использовать шаблоны как есть или вносить в них изменения.

Открытый обмен информацией стал для Apple важным инструментом привлечения лучших инженеров, ученых и экспертов, поскольку он предоставляет возможности для исследовательских работ, которые обычно не были бы опубликованы в соответствии с политикой конфиденциальности Apple.

Apple еще предстоит внедрить такие возможности искусственного интеллекта в свои устройства, но ожидается, что iOS 18 будет включать в себя ряд новых функций искусственного интеллекта, и, по слухам, Apple планирует запустить на устройстве свои собственные большие языковые модели в целях конфиденциальности.