KI-Texte erkennen: Was die Detektoren wirklich leisten

Warum das etwas anderes ist als Plagiatsprüfung

Eine Plagiatsprüfung sucht nach einer Quelle. Sie vergleicht einen Text mit anderen Texten und findet Übereinstimmungen - eine überprüfbare Tatsachenbehauptung: Dieser Satz steht auch dort.

Ein KI-Detektor kann das nicht. Generierter Text hat keine Quelle, mit der sich abgleichen ließe. Stattdessen schätzt der Detektor anhand statistischer Eigenschaften, wie wahrscheinlich es ist, dass ein Text maschinell entstanden ist.

Das ist ein kategorialer Unterschied. Der eine liefert einen Fund, der andere eine Vermutung. Behandelt man beide gleich, entstehen genau die Probleme, um die es im Folgenden geht.

Wie die Detektoren arbeiten

Zwei Maße stecken hinter den meisten Systemen.

Perplexität misst, wie überraschend die Wortfolgen eines Textes für ein Sprachmodell sind. Generierter Text wählt tendenziell wahrscheinliche Fortsetzungen und hat deshalb eine niedrigere Perplexität als menschlicher.

Burstiness misst die Schwankung in Satzlänge und -komplexität. Menschen schreiben ungleichmäßig: ein langer verschachtelter Satz, dann ein kurzer. Modelle erzeugen gleichmäßigere Muster.

Manche Systeme ergänzen das durch eigens trainierte Klassifikatoren.

Das Problem steckt bereits in der Beschreibung: Beide Maße erfassen keine Herkunft, sondern Stil. Ein Mensch, der gleichmäßig und in üblichen Formulierungen schreibt, produziert dieselben Werte wie ein Modell.

Das Fehlerproblem

Ein Detektor mit einer Falsch-Positiv-Rate von einem Prozent klingt zuverlässig. Auf einen Kurs mit 300 Abgaben angewandt bedeutet er drei zu Unrecht Verdächtigte pro Durchgang.

Diese Rechnung ist der Kern des Problems. Bei einer Anwendung, deren Ergebnis für Einzelne gravierende Folgen hat, ist eine kleine Fehlerquote keine kleine Sache.

Verschärft wird es dadurch, dass die Fehler nicht zufällig verteilt sind. Systematisch häufiger betroffen sind:

• Nicht-muttersprachliche Verfasserinnen und Verfasser. Wer in einer Fremdsprache schreibt, nutzt häufiger geläufige Konstruktionen und einen kleineren Wortschatz - genau die Merkmale, die als maschinell gewertet werden.
• Formalisierte Textsorten. Methodenteile, technische Dokumentation und juristische Texte folgen Konventionen, die wenig Variation zulassen.
• Sorgfältig überarbeitete Texte. Wer gründlich redigiert, glättet Unregelmäßigkeiten - und senkt damit ausgerechnet die Werte, die als menschlich gelten.

Anders gesagt: Der Detektor bestraft tendenziell gute Textarbeit.

In der Gegenrichtung ist er leicht zu umgehen. Wenige gezielte Änderungen an Satzlängen und Wortwahl genügen, um die Werte zu verschieben. Wer täuschen will, kommt durch; wer sorgfältig arbeitet, gerät unter Verdacht.

Der Stand der Dinge

Zwei Ereignisse ordnen die Lage ein.

OpenAI hat den eigenen Classifier im Juli 2023 abgeschaltet und die mangelnde Treffsicherheit als Grund genannt. Wenn der Hersteller der Modelle die Erkennung nicht zuverlässig hinbekommt, ist das ein starkes Signal.

Mehrere Hochschulen und Bildungsanbieter haben Detektoren nach Fehlalarmen wieder deaktiviert - teils, weil sich Verdachtsfälle als haltlos erwiesen, teils wegen der ungleichen Verteilung der Fehler.

Wasserzeichenverfahren, bei denen Modelle ein statistisches Muster in erzeugten Text einbetten, sind technisch aussichtsreicher. Sie setzen aber voraus, dass die Anbieter sie einbauen und dass niemand ein Modell ohne Wasserzeichen nutzt - beides ist nicht gegeben.

Wie man sinnvoll damit umgeht

Ein Detektorergebnis ist kein Beweis. Es taugt allenfalls als Anlass, genauer hinzuschauen - niemals als Grundlage einer Sanktion.

Prüfungsformen anpassen statt kontrollieren. Mündliche Verteidigungen, Kolloquien und Aufgaben mit Bezug auf Lehrveranstaltungsinhalte oder eigene Daten sind wirksamer als jede Erkennungssoftware. Wer eine Arbeit nicht erklären kann, hat sie nicht geschrieben - unabhängig davon, wer oder was sie verfasst hat.

Prozess sichtbar machen. Zwischenstände, Exposés und Versionshistorien dokumentieren die Entstehung. Das entlastet redliche Studierende und macht Täuschung aufwendig.

Klare Regeln statt Verbote ins Leere. Eine Ordnung, die sagt, was erlaubt ist - Recherche ja, Formulierungshilfe mit Kennzeichnung, vollständige Erstellung nein -, ist durchsetzbarer als ein pauschales Verbot, das ohnehin nicht kontrolliert werden kann.

Bei Verdacht anhören, nicht anklagen. Ein Gespräch über Vorgehen, Quellen und Argumentation klärt in der Regel innerhalb von zwanzig Minuten mehr als jeder Prozentwert.

Für Betroffene eines Fehlalarms

Wer zu Unrecht verdächtigt wird, hat mehr in der Hand, als es zunächst wirkt:

• Entstehungsnachweise vorlegen: Versionsverläufe in Textverarbeitung oder Cloud-Speicher, Zwischenstände, Notizen, Literaturverwaltung.
• Auf die Fehlerquote hinweisen und die Nennung des konkreten Werkzeugs samt seiner dokumentierten Zuverlässigkeit verlangen.
• Ein Gespräch anbieten, in dem Aufbau und Argumentation erläutert werden.
• Bei formellen Verfahren die Verfahrensrechte prüfen: Anhörung, Akteneinsicht, Begründungspflicht. Eine Übersicht steht unter Folgen und Konsequenzen.

Fazit

KI-Detektoren beantworten eine Frage, für die es derzeit keine verlässliche technische Antwort gibt. Ihre Ergebnisse sind Wahrscheinlichkeitsschätzungen mit einer Fehlerquote, die bei individuellen Konsequenzen nicht vertretbar ist - und mit einer Verteilung, die ausgerechnet die Falschen trifft.

Wer sie als Hinweisgeber nutzt und die eigentliche Klärung im Gespräch sucht, macht wenig falsch. Wer sie als Beweismittel behandelt, produziert Ungerechtigkeit mit technischem Anstrich.