Wenige Parameter, viele Daten

PaLM 2, Googles neuestes großes Sprachmodell (LLM), das letzte Woche angekündigt wurde, verwendet fast die fünffache Menge an Trainingsdaten wie sein Vorgänger aus dem Jahr 2022 und ermöglicht damit fortgeschrittenere Programmierung, Mathematik und Inhaltserstellung.

Auf der Google I/O Developer Conference stellte der Suchmaschinenriese PaLM 2 vor – ein Sprachmodell, das mit 3,6 Billionen Token trainiert wurde. Diese Token sind Wortfolgen – die Bausteine, mit denen LLM trainiert wird, das nächste Wort vorherzusagen.

Die vorherige Version von PaLM wurde im Jahr 2022 veröffentlicht und mit 780 Milliarden Token geprägt.

Google wirbt zwar mit seinen KI-Kompetenzen in den Bereichen Suche, E-Mail, Textverarbeitung und Tabellenkalkulation, hält sich aber zurück, Größe und Details seiner Trainingsdatensätze preiszugeben. Auch OpenAI hält die Details seines neuesten LLM-Trainingsalgorithmus GPT-4 geheim.

Technologieunternehmen führen den Grund dafür auf den Wettbewerbscharakter ihrer Geschäftsbereiche zurück. Sowohl Google als auch OpenAI wetteifern darum, Nutzer mit Chatbots statt mit herkömmlichen Suchmaschinen anzulocken.

Kompakt, leistungsstark, kostengünstig

Laut Google ist PaLM 2 kleiner als seine Vorgänger und wird mit 340 Milliarden Parametern trainiert, während die Vorgängerversion nur 540 Milliarden benötigte. Dies zeigt, dass die Technologie des Unternehmens bei der Ausführung komplexer Aufgaben immer effizienter wird.

Um dies zu erreichen, verwendet PaLM 2 eine neue Technik namens „erweiterte Computeroptimierung“, die „eine bessere Gesamtleistung liefert, einschließlich schnellerer Inferenz mit weniger Parametern, die den Overhead reduzieren“.

Googles neuestes Sprach-KI-Modell, das in über 100 Sprachen trainiert wurde, führt eine Vielzahl von Aufgaben für 25 Funktionen und Produkte aus, darunter auch den experimentellen Chatbot Bard. PaLM 2 ist in vier Größenversionen erhältlich: Gecko, Otter, Bison und Einhorn.

Laut öffentlicher Dokumentation ist PaLM 2 leistungsfähiger als jedes bestehende Modell. Facebooks im Februar veröffentlichtes LlaMA wurde mit 1,4 Billionen Token trainiert. OpenAI hat zuletzt die Trainingsdatengröße für ChatGPT, eine Version von GPT-3, mit 300 Milliarden Token öffentlich bekannt gegeben.

Die explosionsartige Zunahme von KI-Anwendungen hat zu Kontroversen rund um die Technologie geführt. Anfang des Jahres trat El Mahdi El Mhamdi, ein leitender Wissenschaftler bei Google Research, aus Protest gegen die mangelnde Transparenz des Suchmaschinenriesen zurück.

Diese Woche sagte OpenAI-CEO Sam Altman auch vor dem Unterausschuss für Datenschutz und Technologie des US-Justizausschusses im Zusammenhang mit der zunehmenden Verbreitung von KI aus. Dabei stimmte der „Vater“ von ChatGPT den Gesetzgebern zu, dass neue Vorschriften zur Steuerung von KI erforderlich seien.

(Laut CNBC)