Мало параметров, много данных

PaLM 2, новейшая большая языковая модель (LLM) от Google, анонсированная на прошлой неделе, использует почти в пять раз больше данных для обучения, чем ее предшественница 2022 года, что позволяет ей выполнять более сложные задачи программирования, математические вычисления и создания контента.

На конференции разработчиков Google I/O поисковый гигант представил PaLM 2 — языковую модель, обученную на 3,6 триллиона токенов. Эти токены представляют собой последовательности слов — строительные блоки, используемые для обучения LLM предсказывать следующее слово.

Предыдущая версия PaLM была выпущена в 2022 году и состояла из 780 миллиардов токенов.

Хотя Google хвастается своими возможностями ИИ в области поиска, электронной почты, обработки текстов и электронных таблиц, компания неохотно раскрывает объём и детали своих обучающих наборов данных. OpenAI также держит в секрете детали своего новейшего алгоритма обучения LLM, GPT-4.

Технологические компании объясняют это конкурентным характером своего бизнеса. Google и OpenAI стремятся привлечь пользователей с помощью чат-ботов, а не традиционных поисковых систем.

Компактный, мощный, экономичный

Google заявляет, что PaLM 2 меньше своих предшественников: обучение проводится на 340 миллиардах параметров по сравнению с 540 миллиардами в предыдущей версии. Это свидетельствует о том, что технологии компании становятся более эффективными при выполнении сложных задач.

Для достижения этой цели PaLM 2 использует новую технологию, называемую «расширенной вычислительной оптимизацией», которая обеспечивает «более высокую общую производительность, включая более быстрый вывод с меньшим количеством параметров, что снижает накладные расходы».

Новейшая языковая модель искусственного интеллекта Google, обученная более чем 100 языкам, выполняет различные задачи для 25 функций и продуктов, включая экспериментального чат-бота Bard. PaLM 2 доступен в четырёх версиях в зависимости от размера, от самой маленькой к самой большой: Gecko, Otter, Bison и Unicorn.

Согласно общедоступной документации, PaLM 2 мощнее любой существующей модели. LlaMA от Facebook, выпущенная в феврале, была обучена на 1,4 триллиона токенов. Тем временем, OpenAI в последний раз публично раскрывала объём данных для обучения ChatGPT, версии GPT-3, составлявший 300 миллиардов токенов.

Бурный рост популярности приложений искусственного интеллекта (ИИ) вызвал споры вокруг этой технологии. Ранее в этом году Эль-Махди Эль-Мхамди, старший научный сотрудник Google Research, ушёл в отставку в знак протеста против непрозрачности деятельности поискового гиганта.

На этой неделе генеральный директор OpenAI Сэм Альтман также дал показания перед судебным подкомитетом Сената США по вопросам конфиденциальности и технологий в контексте все более широкого распространения ИИ. Там «отец» ChatGPT согласился с законодателями в том, что необходимы новые правила для регулирования ИИ.

(По данным CNBC)