Selon AP, à partir d'entretiens avec des ingénieurs logiciels, des développeurs et des chercheurs universitaires, les experts ont déclaré que certains textes générés par l'IA ne sont pas réels, appelés « hallucinations ». Il est révélateur qu’ils incluent des commentaires racistes, un langage violent et même des traitements médicaux imaginaires.

Taux élevé d'« illusion » dans les textes générés par l'IA

Les experts sont particulièrement préoccupés car Whisper est largement utilisé dans de nombreux secteurs à travers le monde pour traduire et transcrire des interviews, générer du texte dans des technologies grand public populaires et créer des sous-titres pour des vidéos.

Plus inquiétant encore, de nombreux centres médicaux utilisent Whisper pour transférer les consultations entre médecins et patients, bien qu’OpenAI ait averti que l’outil ne devrait pas être utilisé dans les zones « à haut risque ».

L'ampleur réelle du problème est difficile à déterminer, mais les chercheurs et les ingénieurs affirment qu'ils rencontrent régulièrement des « hallucinations » de Whisper dans leur travail.

Un chercheur de l'Université du Michigan a déclaré avoir trouvé des « hallucinations » dans huit conversions audio sur dix qu'il a testées. Un ingénieur informatique a découvert des « hallucinations » dans environ la moitié des conversions de plus de 100 heures d’audio qu’il a analysées. Un autre développeur a déclaré avoir détecté des « hallucinations » dans presque tous les 26 000 enregistrements qu’il a créés à l’aide de Whisper.

Le problème persiste même avec des échantillons audio courts et clairement enregistrés. Une étude récente menée par des informaticiens a découvert 187 « illusions » dans plus de 13 000 clips audio clairs qu’ils ont examinés. Cette tendance pourrait conduire à des dizaines de milliers de fausses transcriptions dans des millions d’enregistrements, ont déclaré les chercheurs.

De telles erreurs peuvent avoir des « conséquences très graves », notamment en milieu hospitalier, selon Alondra Nelson, qui dirigeait le Bureau des sciences et de la technologie de la Maison Blanche sous l’administration Biden jusqu’à l’année dernière.

« Personne ne veut d’un mauvais diagnostic », a souligné Nelson, aujourd’hui professeur à l’Institute for Advanced Study de Princeton, dans le New Jersey. « Il faut un niveau plus élevé. »

Whisper est également utilisé pour créer des sous-titres pour les sourds et les malentendants, une population particulièrement exposée aux erreurs de traduction. C’est parce que les personnes sourdes et malentendantes n’ont aucun moyen d’identifier les passages fabriqués « cachés dans tous les autres textes », explique Christian Vogler, sourd et directeur du programme d’accessibilité technologique à l’université Gallaudet.

OpenAI est appelé à résoudre le problème

La prévalence de telles « hallucinations » a incité des experts, des défenseurs et d’anciens employés d’OpenAI à demander au gouvernement fédéral d’envisager une réglementation de l’IA. À tout le moins, OpenAI doit résoudre ce bug.

« Ce problème peut être résolu si l’entreprise est prête à lui donner la priorité », a déclaré William Saunders, un ingénieur de recherche de San Francisco qui a quitté OpenAI en février en raison de préoccupations concernant l’orientation de l’entreprise.

« Ce serait un problème si vous le mettiez en ligne et que les gens prenaient trop confiance en ses capacités, puis l’intégriez à tous ces autres systèmes. » Un porte-parole d'OpenAI a déclaré que la société recherchait constamment des moyens d'atténuer les « illusions » et appréciait les conclusions des chercheurs, ajoutant qu'OpenAI intégrait les commentaires dans les mises à jour des modèles.

Alors que la plupart des développeurs supposent que les moteurs de synthèse vocale peuvent faire des fautes de frappe ou d'autres erreurs, les ingénieurs et les chercheurs affirment qu'ils n'ont jamais vu un moteur de synthèse vocale alimenté par l'IA qui « hallucine » autant que Whisper.

Prix ​​Nobel de physique 2024 : les fondateurs de l'IA

Le prix Nobel de physique de cette année a été décerné à deux scientifiques, John J. Hopfield et Geoffrey E. Hinton, pour « les découvertes et inventions fondamentales qui ont conduit au développement de l'apprentissage automatique avec des réseaux de neurones artificiels ».