Je intelligenter künstliche Intelligenz ist, desto eher verbirgt sie ihre Unwissenheit?

Je intelligenter die KI, desto unwahrscheinlicher ist es, dass sie den Nutzern gegenüber zugibt, die Antwort nicht zu wissen. (KI-Illustration)

In der in der Fachzeitschrift Nature veröffentlichten Studie testete das Team die neuesten Versionen von drei der beliebtesten KI-Chatbots auf Reaktionsfähigkeit, Genauigkeit und die Fähigkeit der Benutzer, falsche Antworten zu erkennen.

Um die Genauigkeit der drei beliebtesten LLMs – BLOOM, LLaMA und GPT – zu testen, stellte das Team Tausende von Fragen und verglich die erhaltenen Antworten mit früheren Versionen derselben Fragen. Sie variierten auch die Themen, darunter Mathematik, Naturwissenschaften , Worträtsel und Geographie, sowie die Möglichkeit, Text zu generieren oder Aktionen wie das Sortieren von Listen durchzuführen.

Die Studie offenbarte einige bemerkenswerte Trends. Die Gesamtgenauigkeit der Chatbots verbesserte sich mit jeder neuen Version, nahm aber bei schwierigeren Fragen weiterhin ab. Überraschenderweise gingen die LLMs mit zunehmender Größe und Komplexität weniger offen mit ihrer Fähigkeit um, korrekt zu antworten.

In früheren Versionen informierten die meisten LLMs die Nutzer explizit, wenn sie eine Antwort nicht fanden oder weitere Informationen benötigten. Neuere Versionen hingegen neigen eher dazu, zu raten, was insgesamt zu mehr Antworten führt – sowohl richtigen als auch falschen. Noch beunruhigender ist, dass die Studie ergab, dass alle LLMs selbst auf einfache Fragen gelegentlich falsche Antworten gaben. Dies deutet darauf hin, dass ihre Zuverlässigkeit noch verbesserungswürdig ist.

Diese Erkenntnisse verdeutlichen ein Paradoxon in der Entwicklung der KI: Während die Modelle immer leistungsfähiger werden, werden ihre Grenzen möglicherweise auch weniger transparent.

Dies stellt neue Herausforderungen an die Nutzung und das Vertrauen in KI-Systeme dar. Die Benutzer müssen vorsichtiger sein und die Entwickler müssen sich darauf konzentrieren, nicht nur die Genauigkeit, sondern auch das „Selbstbewusstsein“ der Modelle zu verbessern.