Les entreprises d'IA cherchent à réaliser de gros profits à partir de « mini-modèles de langage »

Apple, Microsoft, Meta et Google ont tous récemment publié de nouveaux modèles d’IA avec moins de « paramètres » mais toujours des capacités puissantes, une initiative qui fait partie d’un effort des groupes technologiques pour encourager les entreprises financièrement contraintes à utiliser l’IA.

D'une manière générale, plus le nombre de paramètres est élevé, plus les logiciels d'IA sont performants et plus leurs tâches sont complexes et nuancées. Le dernier modèle GPT-4o d'OpenAI et Gemini 1.5 Pro de Google, tous deux annoncés cette semaine, compteraient plus de 1 000 milliards de paramètres. Parallèlement, Meta entraîne une version de 400 milliards de paramètres de son modèle open source Llama.

Les préoccupations concernant les données et la responsabilité en matière de droits d'auteur ont également conduit les grandes entreprises technologiques comme Meta et Google à publier de petits modèles de langage avec seulement quelques milliards de paramètres qui sont moins chers, économes en énergie, personnalisables, nécessitent moins d'énergie pour s'entraîner et fonctionner, et peuvent également empêcher le stockage de données sensibles.

« En obtenant cette haute qualité à moindre coût, vous obtenez en réalité davantage d’applications auxquelles les clients peuvent accéder », a déclaré Eric Boyd, vice-président d’entreprise de la plateforme Azure AI de Microsoft, qui vend des modèles d’IA aux entreprises.

Google, Meta, Microsoft et la startup française Mistral ont également publié de petits modèles de langage, mais démontrent toujours des progrès et peuvent mieux se concentrer sur des tâches spécifiques.

Nick Clegg, président des affaires mondiales de Meta, a déclaré que le nouveau modèle de Llama 3, doté de 8 milliards de paramètres, est comparable à GPT-4. Microsoft a indiqué que son petit modèle Phi-3, avec 7 milliards de paramètres, surpasse GPT-3.5, la version précédente du modèle d'OpenAI.

Les micropuces peuvent également traiter des tâches localement sur l'appareil plutôt que d'envoyer des informations vers le cloud, ce qui pourrait intéresser les clients soucieux de leur confidentialité qui souhaitent s'assurer que les informations restent au sein du réseau.

Charlotte Marshall, associée du cabinet d'avocats Addleshaw Goddard, a déclaré que « l'un des défis auxquels nombre de nos clients ont été confrontés » lors de l'adoption de produits d'IA générative est le respect des exigences réglementaires en matière de traitement et de transmission des données. Elle a ajouté que les modèles plus petits offrent aux entreprises « l'opportunité de surmonter » les contraintes réglementaires et financières.

Les modèles plus petits permettent également l'utilisation de fonctionnalités d'IA sur des appareils comme les téléphones portables. Le modèle « Gemini Nano » de Google est intégré aux derniers Pixel et au dernier smartphone S24 de Samsung.

Apple a également révélé développer des modèles d'IA pour son iPhone, son best-seller. Le mois dernier, le géant de la Silicon Valley a lancé OpenELM, un petit modèle conçu pour effectuer des tâches textuelles.

Boyd de Microsoft a déclaré que les modèles plus petits donneront lieu à « des applications intéressantes, jusqu'aux téléphones et aux ordinateurs portables ».

Sam Altman, directeur d'OpenAI, a déclaré en novembre que l'entreprise proposait également des modèles d'IA de différentes tailles à ses clients, « pour différents usages ». « Il y a des choses que les modèles plus petits feront très bien. Je suis ravi », a-t-il déclaré.

Cependant, Altman a ajouté qu'OpenAI se concentrera toujours sur la création de modèles d'IA plus grands et évolutifs, y compris la capacité de raisonner, de planifier et d'exécuter des tâches et, en fin de compte, d'atteindre une intelligence de niveau humain.

Hoang Hai (selon le FT)