Falsch-positive Ergebnisse bei KI-Detektoren: Warum deine menschlichen Texte als KI markiert werden

Im Juli 2023 stellte OpenAI seinen eigenen KI-Detektor ein. Das Unternehmen, das ChatGPT entwickelt hat, konnte kein Tool bauen, das ChatGPT zuverlässig erkennt.

Sie sagten: „Unser Klassifizierer ist nicht vollständig zuverlässig.“

Wenn die Leute, die den Roboter erschaffen haben, keine Maschine bauen können, die den Roboter erkennt, welche Chance hat dann ein Klassifizierer gegen deinen eigenen Aufsatz?

Du hast absolut recht, wenn du dich fragst, warum deine menschlichen Texte als KI markiert werden.

Die Autoren, die am häufigsten beschuldigt werden, sind oft die besten im Raum.

Ein falsch-positives Ergebnis ist kein Zeichen dafür, dass du schlecht geschrieben hast. Es ist ein Zeichen dafür, dass du so geschrieben hast, wie es dir beigebracht wurde – und die KI wurde auf Basis derselben Grundlagen trainiert.

In diesem Blog besprechen wir, was ein falsch-positives Ergebnis ist, warum deine Texte markiert werden und wie du das vermeiden kannst, zusammen mit dem besten Humanizer, den du für dich nutzen kannst.

Wichtige Erkenntnisse

• Ein falsch-positives Ergebnis liegt vor, wenn menschliche Texte fälschlicherweise als KI markiert werden.
• OpenAI hat seinen eigenen KI-Detektor im Jahr 2023 aufgrund geringer Genauigkeitsraten eingestellt.
• Detektoren bewerten deine Texte basierend auf statistischen Mustern, nicht darauf, wer sie tatsächlich geschrieben hat.
• Vanderbilt und andere Universitäten haben den KI-Detektor von Turnitin wegen falsch-positiver Ergebnisse abgeschaltet.
• Sauberer, formeller und „korrekter“ Schreibstil wird eher markiert, nicht weniger.
• Du kannst falsch-positive KI-Ergebnisse reduzieren, indem du in deinem eigenen Rhythmus und mit deiner eigenen Stimme schreibst. Du kannst auch Schreibmuster aufbrechen, um KI-Markierungen zu vermeiden, bevor du deine Arbeit einreichst.

Was ein falsch-positives Ergebnis eines KI-Detektors wirklich ist

Ein falsch-positives Ergebnis bei der KI-Erkennung bedeutet, dass das Tool den von Menschen geschriebenen Text als KI-generiert markiert. Der Detektor hat ein Muster in deinem Schreibstil gefunden und dann den falschen Schluss darüber gezogen, wer ihn verfasst hat.

Es ist letztlich nur eine Vermutung basierend auf der Satzstruktur.

Wie unsicher ist diese Vermutung? Hast du Jane Austens Stolz und Vorurteil (1813) gelesen? Was wäre, wenn wir für dieses Argument eine der Passagen mit drei verschiedenen KI-Detektoren prüfen?

Ich habe diese Passage mit drei verschiedenen KI-Detektoren geprüft, und hier sind die Ergebnisse:

KI-Score auf GPTHuman.ai:

KI-Score auf GPTZero:

KI-Score auf ZeroGPT:

Ein KI-Score von 61,3 % für etwas, das vor 213 Jahren geschrieben wurde? Und die Tatsache, dass die anderen beiden KI-Detektoren den Inhalt als menschlich eingestuft haben, beweist, dass sich jeder Detektor in seinen Trainingsdaten und Empfindlichkeitsstufen unterscheidet.

Du kannst falsch-positive Ergebnisse eines KI-Detektors nicht beheben, indem du besser schreibst, denn „besser“ ist genau das, worauf der Detektor reagiert. Je sauberer du den Text formulierst, desto verdächtiger wirkt er.

Wir gehen darauf in einem Blog darüber ein, wie genau KI-Detektoren wirklich sind.

Warum menschliche Texte als KI markiert werden

KI-Detektoren untersuchen zwei Dinge. Das erste ist Perplexity (Komplexität), also wie einzigartig deine Wortwahl ist. Das zweite ist „Burstiness“, was misst, wie stark deine Satzlängen variieren.

Menschen schreiben mit mehr Variation und Unvorhersehbarkeit. Wir wählen ungewöhnliche Wörter und verwenden mal eine kurze Zeile, dann eine lange, ausschweifende Zeile.

Der Stil von KI ist glatt und gleichmäßig. Daher schlagen Detektoren Alarm, wenn der Text zu gleichförmig ist.

Und das ist das Problem… Dir wurde beigebracht, wie man glatt und gleichmäßig schreibt.

Seit hundert Jahren bringen Schulen den Menschen bei, ordentliche Themensätze und saubere Schlussfolgerungen zu schreiben. Die KI hat dann aus Millionen eben solcher Aufsätze gelernt. Jetzt erkennt ein Detektor diese Struktur in deiner Arbeit und denkt, dass du sie mit Hilfe eines Bots erstellt hast.

Der Detektor sieht keine Maschine! Er sieht die Nachahmung des Schreibstils einer Maschine. GPTHuman befasst sich etwas tiefer mit der Genauigkeit von KI-Detektoren.

Die Autoren, die am häufigsten markiert werden

Ich verstehe, dass manche Personen Detektoren häufiger auslösen, selbst wenn sie ihre eigenen Worte verwenden. Oft scheint es diejenigen Autoren zu treffen, die sich am meisten Mühe gegeben haben, präzise zu klingen.

Am härtesten scheint es nicht-muttersprachliche englische Autoren zu treffen.

Eine Stanford-Studie ergab, dass Erkennungstools oft die meisten ihrer Aufsätze fälschlicherweise identifizierten, während sie die von Muttersprachlern geschriebenen weitgehend übersahen.

Und manche der Markierungen sind einfach lächerlich.

Zum Beispiel bewertete ZeroGPT die Unabhängigkeitserklärung von 1776 als zu 97,93 % KI-generiert. Lässt man denselben Text jedoch durch GPTZero laufen, wurde er in einem Decrypt-Test als überwiegend menschlich eingestuft.

Dass zwei Detektoren dasselbe 250 Jahre alte Dokument analysieren und einen Unterschied von 90 Punkten produzieren, ist nicht bloß ein Versehen. Christopher Penn, ein Datenwissenschaftler, der sich die Ergebnisse ansah, beschrieb es als „unausgereift und schädlich.“ Dieselben Worte eines Menschen, aber völlig unterschiedliche Urteile der Detektoren.

Wie real sind falsch-positive Ergebnisse von KI-Detektoren? Frag die Universitäten

Das ist kein kleines Problem. Ganze Universitäten haben nachgerechnet und sich abgewendet.

Im Jahr 2023 deaktivierte Vanderbilt den KI-Detektor für Turnitin und erklärte, dass er „auf absehbare Zeit“ abgeschaltet bleibe. Sie hatten eine einfache, alarmierende Erklärung.

Turnitin meldete eine Rate von 1 % an falsch-positiven Ergebnissen. In einem Jahr reichte Vanderbilt 75.000 Arbeiten ein. Diese 1 % würden etwa 750 Studenten fälschlicherweise identifizieren. Mehrere Standorte der University of California und die Northwestern University schalteten das Tool ebenfalls ab.

Sogar die Tool-Anbieter sichern sich ab. Turnitin warnt weiterhin, dass der Score nicht die alleinige Grundlage für die Bestrafung eines Studenten sein sollte.

Wir haben es getestet

Methodik

Der obige Fall hat bewiesen, dass die Markierungen real sind.

Hier ist der Test, den du selbst durchführen kannst.

Ich habe mit Claude einen 500 Wörter langen Artikel mit dem Prompt „Erkläre falsch-positive Ergebnisse bei KI-Detektoren“ erstellt.

Dann habe ich das Ergebnis mit GPTZero, ZeroGPT und dem GPTHuman.ai Detektor gescannt. Nachdem ich die Ergebnisse notiert hatte, verarbeitete ich den Text mit dem Humanizer von GPTHuman und scannte die überarbeitete Version erneut mit denselben Detektoren.

Hier ist Schritt für Schritt, wie ich es gemacht habe (und wie du es auch tun kannst).

Schritt 1: Den Artikel mit Claude erstellen

Schritt 2: Den Text durch KI-Detektoren laufen lassen. Füge den Inhalt des Artikels ein und notiere den KI-Score. Vieles davon wird markiert.

GPTHuman-Score:

GPTZero:

ZeroGPT:

Schritt 3: Denselben Text durch den Humanizer laufen lassen. Sonst ändert sich nichts.

Schritt 4: Die humanisierte Version erneut prüfen. Füge nun die neue Version wieder in den Detektor ein und vergleiche die Ergebnisse.

GPTHuman.ai:

ZeroGPT:

GPTZero:

Fülle dies währenddessen aus und füge deine Screenshots unter jeder Zeile ein, damit die Leser den Vorher-Nachher-Effekt selbst sehen können:

Warum Paraphrasieren es meistens schlimmer macht

Sobald Menschen markiert werden, geraten sie in Panik und nutzen ein kostenloses Paraphrasierungstool. Meistens steigt der Score dadurch nur noch weiter an.

Das liegt daran, dass einfache Paraphrasierer Wörter durch ihre gängigen Synonyme ersetzen. Gängige Wörter sind vorhersehbare Wörter, und vorhersehbare Wörter verringern deine Perplexity – und genau das bestrafen Detektoren. Die „Lösung“ führt also dazu, dass dein Schreibstil mehr nach einer Maschine klingt, nicht weniger.

Übermäßiges Editieren führt zu ähnlichen negativen Effekten.

Jede Überarbeitungsrunde neigt dazu, ein einzigartiges Wort oder einen sperrigen Satz zu eliminieren, und genau diese Eigenheiten waren deine Merkmale für Authentizität. Sogar Grammatikprüfungstools spielen hierbei eine Rolle, weshalb GPTHuman untersucht hat, ob Grammarly als KI zählt.

Es ist interessant festzustellen, dass die Tools, auf die wir uns verlassen, um unsere Texte „sicherer“ zu machen, sie oft in eine Form pressen, die Detektoren leicht markieren. Rechtschreibprüfungen, Synonym-Ersetzungen und Vorlagen-Builder lenken dich in Richtung der Norm, und genau diese Norm wird erfasst.

So senkst du dein Risiko für falsch-positive Ergebnisse

Du kannst einen Detektor nicht wirklich kontrollieren, aber du kannst beeinflussen, wie dein Schreibstil auf einen KI-Detektor wirkt. Das Ziel ist nicht, jemanden zu täuschen; es geht darum, die menschliche Note zurückzubringen, damit echte Bemühungen nicht falsch beurteilt werden.

Einige Dinge, die einen großen Unterschied machen:

• Die Verwendung von Synonymen ist nur eine oberflächliche Änderung; die eigentliche Arbeit findet bei der Änderung der Satzstruktur statt.
• Nutze ein Gefühl für Rhythmus beim Schreiben. Echte Menschen neigen, wie erwähnt, dazu, kurze Sätze aneinanderzureihen, wenn sie leidenschaftlich sind, und sie dann mit längeren Sätzen auszubalancieren, um ins Detail zu gehen.
• Ändere die Muster nicht erst, nachdem du beschuldigt wurdest; ändere sie, bevor du veröffentlichst.
• Denk daran: Der Schlüssel ist, mit Emotionen statt nach einer starren Formel zu schreiben, da genau diese Formel dazu geführt haben könnte, dass deine Arbeit zuvor markiert wurde.

Aber wenn du etwas geschrieben hast, das wiederholt von einem KI-Detektor markiert wird, kann der KI-Humanizer von GPTHuman dir helfen, das Muster umzustrukturieren, das die Erkennung auslöst. So senkst du das Risiko einer Markierung, noch bevor du auf Senden klickst.

Schlusswort

Wenn die Tools falsch-positive Ergebnisse liefern, ist das kein Zeichen für Betrug; es bedeutet nur, dass diese Tools die Person hinter den Worten nicht sehen. Sogar OpenAI hat diese Form des Gedankenlesens aufgegeben.

Du musst also in deiner eigenen Stimme schreiben, auch wenn dein Schreibstil nicht perfekt ist. Versuche, das menschliche Element des Schreibens beizubehalten. Ändere dein Muster, aber ändere nicht deine Ehrlichkeit, wenn du von einem Detektor markiert wirst.