Regelungsvorhaben

Schutz vor den psychologischen und gesellschaftlichen Risiken von suchtfördernden und sykophantischen KI-Systemen (Companion AI)

Angegeben von:
Zentrum für Digitalrechte und Demokratie (R007920) am 13.05.2026

Beschreibung:
KI-Systeme, die im fortlaufenden Dialog mit Nutzern Emotionen erkennen, persönliche Bedürfnisse adressieren und darauf reagieren, werden als Companion-AI bezeichnet. Dies kann eine Funktion allgemeiner Sprachmodelle oder spezieller Apps sein. Die Bindung von Nutzenden durch Sykophanz (Gefälligkeit), emotionale Bindung, Simulation eines menschlichen Gegenübers und suchterzeugende Praktiken birgt eine Reihe von Risiken für die psychische und physische Gesundheit, die Privatsphäre und die Entscheidungsautonomie. Wir fordern eine Reihe von Gesetzesanpassungen, die dieses Problem adressieren.