ChatGPT hört Ihnen zu (und könnte Sie melden)

Die große Veränderung: OpenAI gibt zu, Behörden zu melden

Im September 2025 hat OpenAI eine Enthüllung gemacht, die die globale Tech-Community erschütterte: ChatGPT überwacht aktiv die Gespräche der Nutzer und meldet potenziell kriminelle Inhalte an die Strafverfolgungsbehörden.

Die Nachricht, die fast zufällig in einem Beitrag im Unternehmensblog auftauchte, enthüllte, dass, wenn automatisierte Systeme Nutzer erkennen, die „vorhaben, anderen Schaden zuzufügen“, die Unterhaltungen an spezialisierte Pipelines weitergeleitet werden, wo sie von einem kleinen, in den Nutzungsrichtlinien geschulten Team geprüft werden. Wenn die menschlichen Prüfer feststellen, dass eine „unmittelbare Gefahr schwerer körperlicher Schäden für andere“ besteht, kann der Fall an die Strafverfolgungsbehörden weitergeleitet werden¹.

ChatGPT lädt dich herzlich ein, deine intimsten Gedanken zu teilen. Keine Sorge, alles ist vertraulich... mehr oder weniger.

Quellen:

• OpenAI Says It's Scanning Users' ChatGPT Conversations and Reporting Content to the Police - Futurism
• ChatGPT privacy questioned as OpenAI confirms police access in extreme cases - Storyboard18

Der Kontrast zu den „geschützten” Berufen

Das Berufsgeheimnis

Wenn wir mit einem Psychologen, einem Anwalt, einem Arzt oder einem Priester sprechen, sind unsere Worte durch einen fest etablierten rechtlichen Mechanismus geschützt: das Berufsgeheimnis. Dieses Prinzip, das in Jahrhunderten juristischer Tradition verwurzelt ist, legt fest, dass bestimmte Gespräche unantastbar sind, selbst angesichts strafrechtlicher Ermittlungen.

Merkmale des traditionellen Berufsgeheimnisses:

• Sehr weitreichender Schutz: Die Kommunikation bleibt auch bei gestandenen Straftaten vertraulich
• Begrenzte und spezifische Ausnahmen: Nur in gesetzlich definierten Extremfällen dürfen/müssen bestimmte Fachleute das Schweigen brechen
• Qualifizierte menschliche Kontrolle: Die Entscheidung, die Vertraulichkeit zu brechen, liegt stets in den Händen einer ausgebildeten Fachperson
• Ethische Verantwortung: Fachleute sind an Berufsordnungen gebunden, die Pflichten gegenüber Klienten und Gesellschaft abwägen

Die tatsächlichen Grenzen der beruflichen Schweigepflicht

Entgegen der landläufigen Meinung ist das Berufsgeheimnis nicht absolut. Es gibt klar definierte Ausnahmen, die je nach Berufsgruppe variieren:

Für Anwälte (Art. 28 der italienischen Berufsordnung für Anwälte): Die Offenlegung ist erlaubt, wenn sie notwendig ist für:

• Die Ausübung der Verteidigungstätigkeit
• Die Verhinderung einer besonders schwerwiegenden Straftat
• Die eigene Verteidigung in einem Rechtsstreit gegen den eigenen Mandanten
• Disziplinarverfahren

Kritisches Beispiel: Erklärt ein Mandant seinem Anwalt, dass er einen Mord begehen will, muss zwischen dem Schutz des Verteidigungsrechts und dem Schutz des Lebens Letzteres überwiegen, und der Anwalt ist vom Berufsgeheimnis entbunden².

Für Psychologen (Art. 13 der Berufsordnung): Das Geheimnis kann gebrochen werden, wenn:

• Eine Melde- oder Anzeigepflicht für von Amts wegen verfolgbare Straftaten besteht
• Ernste Gefahren für Leben oder psychophysische Gesundheit der betroffenen Person und/oder Dritter drohen
• Eine gültige und nachweisbare Einwilligung des Patienten vorliegt

Wichtige Unterscheidung: Der niedergelassene Psychologe hat mehr Ermessensspielraum als der im öffentlichen Dienst tätige, der als Amtsträger strengeren Anzeigepflichten unterliegt³.

Quellen:

• Studio Legale Puce - Segreto Professionale dell'Avvocato
• La Legge Per Tutti - Lo psicologo che sa di un reato deve denunciare il paziente?

KI als „Nicht-Profi“

ChatGPT bewegt sich in einer ganz anderen Grauzone:

Fehlendes rechtliches Privileg: Gespräche mit der KI genießen keinerlei rechtlichen Schutz. Wie Sam Altman, CEO von OpenAI, zugab: "Wenn du mit einem Therapeuten, einem Anwalt oder einem Arzt über diese Probleme sprichst, gibt es dafür rechtliches Privileg. Es gibt die Vertraulichkeit zwischen Arzt und Patient, es gibt die anwaltliche Verschwiegenheit, was auch immer. Und das haben wir für den Fall, dass du mit ChatGPT sprichst, noch nicht gelöst"².

Automatisierter Prozess: Im Gegensatz zu einer menschlichen Fachperson, die von Fall zu Fall bewertet, nutzt ChatGPT Algorithmen, um „problematische“ Inhalte zu identifizieren, wodurch das qualifizierte menschliche Urteilsvermögen aus der ersten Screening-Phase entfernt wird.

Quellen:

• Sam Altman warns there's no legal confidentiality when using ChatGPT as a therapist - TechCrunch

Die praktischen Auswirkungen: Ein neues Überwachungsparadigma

Das Paradoxon des technologischen Vertrauens

Die Situation schafft ein beunruhigendes Paradox. Millionen Menschen nutzen ChatGPT als digitalen Vertrauten und teilen intime Gedanken, Zweifel, Ängste und sogar kriminelle Fantasien, die sie nie mit einem Menschen teilen würden. Wie Sam Altman berichtet: "Menschen sprechen mit ChatGPT über die persönlichsten Dinge ihres Lebens. Menschen nutzen es - besonders junge Menschen - als Therapeuten, Life-Coach"⁴.

Das Risiko krimineller Selbstzensur: Das Wissen, dass Gespräche überwacht werden können, könnte paradoxerweise:

• Kriminelle in verstecktere Kanäle drängen
• Menschen mit gewalttätigen Gedanken davon abhalten, Hilfe zu suchen
• Einen "abschreckenden" Effekt auf die digitale Kommunikation erzeugen

Kompetenz vs. Algorithmen: Wer entscheidet, was kriminell ist?

Ein entscheidender Aspekt, auf den Kritiker hinweisen, betrifft die Kompetenz derjenigen, die die endgültigen Entscheidungen treffen.

Menschliche Fachleute haben:

• Jahrelange Ausbildung, um zwischen Fantasien und echten Absichten zu unterscheiden
• Berufsordnungen, die festlegen, wann die Schweigepflicht zu brechen ist
• Persönliche rechtliche Verantwortung für ihre Entscheidungen
• Fähigkeit, Kontext und Glaubwürdigkeit einzuschätzen

Das ChatGPT-System arbeitet mit:

• Automatisierten Algorithmen zur Früherkennung
• OpenAI-Mitarbeitern, die nicht zwingend eine klinische oder kriminologische Ausbildung haben
• Nicht öffentlichen und potenziell willkürlichen Bewertungskriterien
• Fehlenden externen Kontrollmechanismen

Problematisches Beispiel: Wie unterscheidet ein Algorithmus zwischen:

• Einer Person, die einen Thriller schreibt und nach Inspiration für gewalttätige Szenen sucht
• Jemandem, der fantasiert, ohne die Absicht zu haben, zu handeln
• Einer Person, die tatsächlich ein Verbrechen plant

Quellen:

• TechCrunch - Sam Altman warns there's no legal confidentiality when using ChatGPT as a therapist
• Shinkai Blog - OpenAI's ChatGPT Conversations Scanned, Reported to Police, Igniting User Outrage

Quellen:

• OpenAI's ChatGPT Conversations Scanned, Reported to Police, Igniting User Outrage and Privacy Fears

Der Widerspruch von OpenAI: Datenschutz vs. Sicherheit

Der doppelte Standard

Das Eingeständnis von OpenAI steht in krassem Widerspruch zu seinen früheren Positionen. Das Unternehmen hat sich unter Berufung auf den Datenschutz vehement gegen die Herausgabe von Nutzerdaten in Gerichtsverfahren gewehrt. Im Fall gegen die New York Times hat OpenAI nachdrücklich gegen die Offenlegung von Chat-Protokollen argumentiert, um die Privatsphäre der Nutzer zu schützen⁴.

Die Ironie der Situation: OpenAI verteidigt die Privatsphäre der Nutzer vor Gericht, während es gleichzeitig zugibt, Daten zu überwachen und an externe Behörden weiterzugeben.

Die Auswirkungen des New York Times-Falls

Die Situation hat sich weiter zugespitzt mit der Gerichtsanordnung, die OpenAI dazu verpflichtet, alle ChatGPT-Logs unbegrenzt aufzubewahren, einschließlich privater Chats und API-Daten. Das bedeutet, dass Unterhaltungen, die Nutzer für temporär hielten, nun dauerhaft gespeichert werden⁵.

Quellen:

• OpenAI slams court order to save all ChatGPT logs, including deleted chats
• OpenAI Lawsuit 2025: Appeals NYT Over ChatGPT Data

Mögliche Lösungen und Alternativen

Auf dem Weg zu einem „KI-Privileg“?

Wie von Sam Altman vorgeschlagen, könnte es notwendig sein, ein Konzept des „KI-Privilegs" zu entwickeln - einen rechtlichen Schutz ähnlich dem, der traditionellen Berufsgruppen geboten wird. Dies wirft jedoch komplexe Fragen auf:

Mögliche regulatorische Optionen:

1. Lizenzmodell: Nur zertifizierte KIs können ein „Gesprächsprivileg" anbieten
2. Verpflichtende Ausbildung: Wer mit sensiblen Inhalten umgeht, muss über spezifische Qualifikationen verfügen
3. Fachliche Aufsicht: Einbindung qualifizierter Psychologen/Anwälte bei Entscheidungen über Meldungen
4. Algorithmische Transparenz: Veröffentlichung der Kriterien, die zur Identifizierung „gefährlicher" Inhalte verwendet werden

Zwischenlösungen

„Abgeschottete" KI:

• Getrennte Systeme für therapeutische vs. allgemeine Nutzung
• Ende-zu-Ende-Verschlüsselung für sensible Unterhaltungen
• Ausdrückliche Zustimmung für jede Art von Überwachung

„Dreigliedriger" Ansatz:

• Automatische Erkennung nur bei unmittelbaren und nachweisbaren Bedrohungen
• Verpflichtende qualifizierte menschliche Überprüfung
• Berufungsverfahren für angefochtene Entscheidungen

Der Präzedenzfall der digitalen Fachleute

Lehren aus anderen Bereichen:

• Telemedizin: Hat Protokolle für den digitalen Datenschutz entwickelt
• Online-Rechtsberatung: Nutzt Verschlüsselung und Identitätsprüfungen
• Digitale Therapie: Spezialisierte Apps mit spezifischen Schutzmaßnahmen

Quellen:

• Simon Willison - OpenAI court order analysis

Was bedeutet KI für Unternehmen?

Unterricht für den Sektor

Der Fall OpenAI schafft wichtige Präzedenzfälle für den gesamten Bereich der künstlichen Intelligenz:

1. Verpflichtende Transparenz: KI-Unternehmen müssen bezüglich ihrer Überwachungspraktiken deutlicher werden
2. Notwendigkeit ethischer Rahmenwerke: Es braucht eine klare Regulierung, wann und wie KI in private Kommunikation eingreifen darf
3. Spezialisierte Ausbildung: Wer Entscheidungen über sensible Inhalte trifft, muss über entsprechende Kompetenzen verfügen
4. Rechtliche Verantwortung: Festlegen, wer verantwortlich ist, wenn ein KI-System eine Bewertung falsch trifft

Operative Empfehlungen

Für Unternehmen, die konversationelle KI entwickeln:

• Multidisziplinäre Teams einsetzen (Juristen, Psychologen, Kriminologen)
• Öffentliche und überprüfbare Kriterien für die Meldung entwickeln
• Berufungsverfahren für Nutzer schaffen
• In spezialisierte Schulungen für das Prüfpersonal investieren

Für Unternehmen, die KI einsetzen:

• Die Datenschutzrisiken vor der Implementierung bewerten
• Nutzer klar über die Grenzen der Vertraulichkeit informieren
• Spezialisierte Alternativen für sensible Anwendungsfälle in Betracht ziehen

Die Zukunft der digitalen Vertraulichkeit

Das zentrale Dilemma: Wie lässt sich die Verhinderung tatsächlicher Straftaten mit dem Recht auf Privatsphäre und digitale Vertraulichkeit vereinbaren?

Die Frage ist nicht nur technischer Natur, sondern betrifft grundlegende Prinzipien:

• Unschuldsvermutung: Die Überwachung privater Gespräche impliziert einen generalisierten Verdacht
• Recht auf Privatsphäre: Umfasst das Recht, private Gedanken zu haben, auch wenn sie beunruhigend sind
• Präventive Wirksamkeit: Es ist nicht erwiesen, dass digitale Überwachung tatsächlich Straftaten verhindert

Fazit: Das richtige Gleichgewicht finden

Die Enthüllung von OpenAI markiert einen Wendepunkt in der Entwicklung der künstlichen Intelligenz, aber die Frage ist nicht, ob die Meldung an sich richtig oder falsch ist: es geht darum, wie man sie wirksam, fair und rechtskonform gestaltet.

Die Notwendigkeit ist real: Konkrete Gewaltdrohungen, geplante Anschläge oder andere schwere Straftaten erfordern ein Eingreifen. Das Problem ist nicht, ob man meldet, sondern wie man es verantwortungsvoll tut.

Die grundlegenden Unterschiede, die es zu klären gilt:

Ausbildung und Kompetenz:

• Menschliche Fachkräfte verfügen über etablierte Protokolle, um zwischen echten Drohungen und Fantasien zu unterscheiden
• KI-Systeme benötigen gleichwertige Standards und qualifizierte Aufsicht
• Für diejenigen, die endgültige Entscheidungen treffen, ist eine spezialisierte Ausbildung erforderlich

Transparenz und Kontrolle:

• Fachleute arbeiten unter der Aufsicht ihrer Berufsverbände
• OpenAI benötigt öffentliche Kriterien und externe Kontrollmechanismen
• Nutzer müssen genau wissen, wann und warum sie gemeldet werden könnten

Verhältnismäßigkeit:

• Fachleute wägen von Fall zu Fall die Pflicht zur Verschwiegenheit gegen die Sicherheit ab
• KI-Systeme müssen ähnliche Mechanismen entwickeln, keine binären Algorithmen

Für Unternehmen der Branche besteht die Herausforderung darin, Systeme zu entwickeln, die die Gesellschaft wirksam schützen, ohne zu Instrumenten wahlloser Überwachung zu werden. Das Vertrauen der Nutzer ist unerlässlich, muss aber mit gesellschaftlicher Verantwortung koexistieren.

Für Nutzer ist die Lektion zweifach:

1. Gespräche mit KI genießen nicht denselben Schutz wie bei traditionellen Fachleuten
2. Das ist nicht zwangsläufig negativ, sofern es transparent und verhältnismäßig geschieht, aber es ist wichtig, sich dessen bewusst zu sein

Die Zukunft der konversationellen KI erfordert einen neuen Rahmen, der:

• Die Legitimität der Kriminalprävention anerkennt
• Professionelle Standards für den Umgang mit sensiblen Inhalten festlegt
• Transparenz bei Entscheidungsprozessen gewährleistet
• Individuelle Rechte schützt, ohne die Sicherheit zu vernachlässigen

Die richtige Frage ist nicht, ob Maschinen Straftaten melden sollten, sondern wie wir sicherstellen können, dass sie es (mindestens) mit derselben Weisheit, Ausbildung und Verantwortung tun wie menschliche Fachkräfte.

Das Ziel besteht nicht darin, zu einer KI zurückzukehren, die für reale Gefahren „blind” ist, sondern Systeme zu entwickeln, die technologische Effizienz mit Ethik und menschlicher Kompetenz verbinden. Nur so können wir das Beste aus beiden Welten haben: Sicherheit und geschützte individuelle Rechte.

Referenzen und Quellen

1. Futurism - "OpenAI Says It's Scanning Users' ChatGPT Conversations and Reporting Content to the Police"
2. Studio Legale Puce - "Segreto Professionale dell'Avvocato"
3. La Legge Per Tutti - "Lo psicologo che sa di un reato deve denunciare il paziente?"
4. TechCrunch - "Sam Altman warns there's no legal confidentiality when using ChatGPT as a therapist"
5. Shinkai Blog - "OpenAI's ChatGPT Conversations Scanned, Reported to Police, Igniting User Outrage and Privacy Fears"
6. Simon Willison - "OpenAI slams court order to save all ChatGPT logs, including deleted chats"
7. Success Knocks - "OpenAI Lawsuit 2025: Appeals NYT Over ChatGPT Data"