Как Apple внедряет искусственный интеллект в старые модели iPhone

По данным Android Authority , в исследовательской работе Apple подробно описывается решение для запуска больших языковых моделей (LLM) на устройствах с ограниченным объёмом оперативной памяти. В статье объясняется, как компания может хранить «параметры модели» и загружать их часть в оперативную память устройства при необходимости, вместо того чтобы загружать туда всю модель целиком.

В статье утверждается, что этот метод позволяет запускать модели, требующие вдвое больше оперативной памяти, чем может иметь iPhone, при этом обеспечивая скорость вывода в 4-5 и 20-25 раз выше по сравнению с простыми методами загрузки на центральном процессоре и графическом процессоре соответственно.

Развертывание синтетического ИИ на устройстве с большим объёмом оперативной памяти стало бы огромным преимуществом, поскольку позволило бы увеличить скорость чтения/записи. Скорость важна для ИИ на устройстве, позволяя значительно сократить время вывода, поскольку пользователям не обязательно ждать ответа или конечного результата десятки секунд (или больше). Всё это означает, что ИИ-помощник на устройстве потенциально может работать со скоростью разговора, гораздо быстрее генерировать изображения/текст, быстрее составлять резюме статей и т. д. Однако решение Apple означает, что пользователям не обязательно нужен большой объём оперативной памяти для ускорения реагирования ИИ на устройстве.

Подход Apple может позволить как старым, так и новым iPhone предлагать функции искусственного интеллекта прямо на устройстве. Это важно, поскольку iPhone от Apple, как правило, имеют меньший объём оперативной памяти, чем топовые Android-смартфоны. Например, iPhone 11 серии предлагает всего 4 ГБ оперативной памяти, в то время как даже начальный iPhone 15 имеет всего 6 ГБ.

Apple — не единственная мобильная компания, работающая над сокращением LLM. Недавние флагманские чипы Qualcomm и MediaTek поддерживают точность INT4 для сокращения этих моделей. В любом случае, компании ищут новые способы снизить системные требования для встроенного ИИ, чтобы даже бюджетные смартфоны могли реализовать эту функцию.