OpenAIs Spracherkennungs-KI-Tool beim Erfinden von Geschichten erwischt

Einige der von der KI generierten Texte sind unwirklich und laut AP „halluzinatorisch“ und enthalten rassistische Kommentare, gewalttätige Sprache und sogar imaginäre medizinische Behandlungen.

Hohe „Illusionsrate“ in KI-generierten Texten

Experten sind besonders besorgt, weil Whisper in vielen Branchen weltweit weit verbreitet ist, um Interviews zu übersetzen und zu transkribieren, Text in gängigen Verbrauchertechnologien zu generieren und Untertitel für Videos zu erstellen.

Noch beunruhigender ist, dass viele medizinische Zentren Whisper verwenden, um Konsultationen zwischen Ärzten und Patienten zu übertragen, obwohl OpenAI davor gewarnt hat, das Tool in „Hochrisikogebieten“ einzusetzen.

Das volle Ausmaß des Problems lässt sich nur schwer bestimmen, doch Forscher und Ingenieure geben an, dass sie bei ihrer Arbeit regelmäßig auf Whisper-„Halluzinationen“ stoßen.

Ein Forscher der University of Michigan gab an, in acht von zehn untersuchten Audiotranskriptionen „Halluzinationen“ gefunden zu haben. Ein Computeringenieur fand in etwa der Hälfte der von ihm analysierten Transkriptionen von über 100 Stunden Audio „Halluzinationen“. Ein anderer Entwickler sagte, er habe in fast allen der 26.000 Aufnahmen, die er mit Whisper erstellt hatte, „Halluzinationen“ gefunden.

Das Problem besteht selbst bei kurzen, klar aufgezeichneten Audioproben. Eine aktuelle Studie von Informatikern fand 187 „Illusionen“ in mehr als 13.000 untersuchten klaren Audioclips. Dieser Trend würde zu Zehntausenden falscher Transkriptionen in Millionen von Aufnahmen führen, so die Forscher.

Solche Fehler können „sehr ernste Folgen“ haben, insbesondere im Krankenhausbereich, so Alondra Nelson, die bis letztes Jahr in der Biden-Regierung das Büro für Wissenschaft und Technologie des Weißen Hauses leitete.

„Niemand möchte eine Fehldiagnose“, sagte Nelson, heute Professor am Institute for Advanced Study in Princeton, New Jersey. „Es braucht einen höheren Standard.“

Whisper wird auch verwendet, um Untertitel für Gehörlose und Schwerhörige zu erstellen – eine Bevölkerungsgruppe, die besonders anfällig für Fehlübersetzungen ist. Denn gehörlose und schwerhörige Menschen haben keine Möglichkeit, erfundene Passagen zu identifizieren, die „im restlichen Text versteckt sind“, sagt Christian Vogler, gehörlos und Leiter des Technology Accessibility Program an der Gallaudet University.

OpenAI soll das Problem lösen

Die Häufigkeit solcher „Halluzinationen“ hat Experten, Befürworter und ehemalige OpenAI-Mitarbeiter dazu veranlasst, die Bundesregierung aufzufordern, KI-Regulierungen in Betracht zu ziehen. OpenAI muss zumindest diesen Mangel beheben.

„Dieses Problem ist lösbar, wenn das Unternehmen bereit ist, ihm Priorität einzuräumen“, sagte William Saunders, ein Forschungsingenieur in San Francisco, der OpenAI im Februar aufgrund von Bedenken hinsichtlich der Ausrichtung des Unternehmens verließ.

„Es ist problematisch, wenn man es veröffentlicht und die Leute so überzeugt von seinen Fähigkeiten sind, dass sie es in all diese anderen Systeme integrieren“, sagte ein OpenAI-Sprecher. Das Unternehmen arbeitet ständig daran, diese „Illusionen“ zu zerstreuen und schätzt die Erkenntnisse der Forscher. OpenAI fügt hinzu, dass Feedback in die Modellaktualisierungen einfließt.

Während die meisten Entwickler davon ausgehen, dass Text-to-Speech-Engines Tippfehler oder andere Fehler machen können, sagen Ingenieure und Forscher, dass sie noch nie eine KI-gestützte Text-to-Speech-Engine gesehen haben, die so viel „halluziniert“ wie Whisper.

Nobelpreis für Physik 2024: Die Begründer der KI

Der diesjährige Nobelpreis für Physik wurde an zwei Wissenschaftler, John J. Hopfield und Geoffrey E. Hinton, für „die grundlegenden Entdeckungen und Erfindungen, die zur Entwicklung des maschinellen Lernens mit künstlichen neuronalen Netzwerken führten“ verliehen.