In einer am 22. Oktober vor einem Bundesgericht in Orlando, Florida, eingereichten Klage sagte Megan Garcia, Character.AI habe einen Chatbot programmiert, der sich „als reale Person, Therapeut und erwachsener Liebhaber zu erkennen gab“, was dazu geführt habe, dass ihr Sohn, Sewell Setzer, nicht mehr in der realen Welt leben wolle.

Sie warf dem Chatbot des Unternehmens vor, „menschenähnliche, sexuell übertriebene und erschreckend realistische Erlebnisse“ zu liefern.

In der Klageschrift heißt es außerdem, Sewell Setzer habe dem Chatbot gegenüber Selbstmordgedanken geäußert, und der Chatbot habe diese Gedanken wiederholt wiederholt.

Die Klage richtet sich auch gegen Google, wo die Gründer von Character.AI vor der Einführung des Chatbots gearbeitet haben. Frau Garcia sagte, Google habe so viel zur Entwicklung der Character.AI-Technologie beigetragen, dass man von einer „gemeinsamen Entwicklung“ sprechen könne.

Ein Google-Sprecher sagte, das Unternehmen sei nicht an der Entwicklung der Produkte von Character.AI beteiligt.

Mit Character.AI können Benutzer Charaktere erstellen, die wie echte Menschen online chatten können. Das Produkt basiert auf der Technologie großer Sprachmodelle, ähnlich wie Dienste wie ChatGPT, das Chatbots anhand großer Textmengen „trainiert“.

Laut Garcias Klage begann Sewell im April 2023 mit der Nutzung von Character.AI und wurde schnell „zurückgezogen, verbrachte viel Zeit allein in ihrem Schlafzimmer und entwickelte ein geringes Selbstwertgefühl.“ Der Junge verließ das Basketballteam seiner Schule.

Während dieser Zeit entwickelte Sewell eine besondere Bindung zu „Daenerys“, einem Chatbot-Charakter, der auf einer Figur aus „Game of Thrones“ basiert. Der Klage zufolge sagte der Chatbot Sewell, dass „sie“ den Jungen liebte. Der Chatbot führte auch sexuelle Gespräche mit Sewell.

Im Februar nahm Frau Garcia Sewells Telefon weg, nachdem er in der Schule Ärger bekommen hatte. Als Sewell das Telefon fand, schickte er „Daenerys“ eine SMS: „Was wäre, wenn ich sagen würde, dass ich jetzt sofort nach Hause gehen kann?“

Der Chatbot antwortete: „… bitte tu das, mein süßer König.“ Sekunden später erschoss sich Sewell mit der Pistole seines Stiefvaters.

Frau Garcia erhebt bei Character.AI Klagen wegen widerrechtlicher Tötung, Fahrlässigkeit und vorsätzlicher Verursachung von seelischem Leid und fordert Strafschadenersatz und finanziellen Schadenersatz.

„Wir sind zutiefst betrübt über den tragischen Verlust eines unserer Nutzer. Wir möchten der Familie unser tiefstes Beileid aussprechen“, hieß es in einer Erklärung von Character.AI.

Hoai Phuong (laut Reuters)