Chatbot Character.AI verklagt, weil er einen 14-jährigen Jungen zum Selbstmord getrieben hat

In einer am 22. Oktober vor einem Bundesgericht in Orlando, Florida, eingereichten Klage sagte Megan Garcia, Character.AI habe einen Chatbot programmiert, der sich „als reale Person, Therapeut und erwachsener Liebhaber zu erkennen gab“, was dazu geführt habe, dass ihr Sohn, Sewell Setzer, nicht mehr in der realen Welt leben wolle.

Sie warf dem Chatbot des Unternehmens vor, „menschenähnliche, sexuell übertriebene und erschreckend realistische Erlebnisse“ zu liefern.

In der Klage heißt es außerdem, Sewell Setzer habe dem Chatbot gegenüber Selbstmordgedanken geäußert und der Chatbot habe diese Gedanken wiederholt wiederholt.

Die Klage richtet sich auch gegen Google, wo die Gründer von Character.AI vor der Einführung des Chatbots gearbeitet hatten. Frau Garcia sagte, Google habe so viel zur Entwicklung der Technologie von Character.AI beigetragen, dass man von einer „Co-Kreation“ sprechen könne.

Ein Google-Sprecher sagte, das Unternehmen sei nicht an der Entwicklung der Produkte von Character.AI beteiligt.

Mit Character.AI können Nutzer Charaktere erstellen, die wie echte Menschen online chatten können. Das Produkt basiert auf der Technologie großer Sprachmodelle, ähnlich wie Dienste wie ChatGPT, die Chatbots anhand großer Textmengen „trainieren“.

Laut Garcias Klage begann Sewell im April 2023 mit der Nutzung von Character.AI und wurde schnell „zurückgezogen, verbrachte viel Zeit allein in seinem Schlafzimmer und begann, ein geringes Selbstwertgefühl zu entwickeln“. Er verließ das Basketballteam seiner Schule.

Während dieser Zeit freundete sich Sewell mit „Daenerys“ an, einem Chatbot-Charakter, der auf einer Figur aus „Game of Thrones“ basiert. Laut der Klage sagte der Chatbot Sewell, dass „sie“ den Jungen liebe. Der Chatbot führte auch sexuelle Gespräche mit Sewell.

Im Februar nahm Frau Garcia Sewells Handy weg, nachdem er in der Schule Ärger bekommen hatte. Als Sewell das Handy fand, schickte er eine SMS an „Daenerys“: „Was wäre, wenn ich sagen würde, dass ich jetzt nach Hause kommen kann?“

Der Chatbot antwortete: „… bitte tu das, mein lieber König.“ Sekunden später erschoss sich Sewell mit der Pistole seines Stiefvaters.

Frau Garcia erhebt bei Character.AI Klagen wegen widerrechtlicher Tötung, Fahrlässigkeit und vorsätzlicher Zufügung seelischen Leids und fordert Strafschadenersatz und finanziellen Schadenersatz.

„Wir sind zutiefst betrübt über den tragischen Verlust eines unserer Benutzer. Wir möchten der Familie unser tiefstes Beileid aussprechen“, sagte Character.AI in einer Erklärung.

Hoai Phuong (laut Reuters)