Faux positifs des détecteurs d’IA : pourquoi ton écriture humaine est signalée comme IA

En juillet 2023, OpenAI a fermé son propre détecteur d’IA. L’entreprise qui a créé ChatGPT n’a pas pu construire un outil capable de repérer ChatGPT de manière fiable.

Ils ont déclaré : « Notre classificateur n’est pas totalement fiable. »

Si les personnes qui ont fabriqué le robot ne peuvent pas construire une machine qui repère le robot, quelle chance un classificateur a-t-il face à ta propre dissertation ?

Tu as tout à fait raison de te demander pourquoi ton écriture humaine est signalée comme étant de l’IA.

Les rédacteurs les plus accusés sont souvent les meilleurs.

Un faux positif n’est pas le signe que tu as mal écrit. C’est le signe que tu as écrit comme on te l’a appris, et l’IA a été formée à partir des mêmes sources.

Dans ce blog, nous allons voir ce qu’est un faux positif, pourquoi ton écriture est signalée et comment l’éviter, ainsi que le meilleur humaniseur que tu puisses utiliser pour toi-même.

Points clés à retenir

• Un faux positif, c’est quand une écriture humaine est signalée par erreur comme étant de l’IA.
• OpenAI a fermé son propre détecteur d’IA en 2023 en raison de son faible taux de précision.
• Les détecteurs notent ton écriture en se basant sur des modèles statistiques, et non sur l’identité réelle de l’auteur.
• Vanderbilt et d’autres universités ont désactivé le détecteur d’IA de Turnitin à cause des faux positifs.
• Une écriture propre, formelle et « correcte » est plus souvent signalée, et non l’inverse.
• Tu peux réduire les faux positifs d’IA en écrivant avec ton propre rythme et ta propre voix. Tu peux aussi casser les schémas d’écriture pour éviter les signalements d’IA avant de soumettre ton travail.

Ce qu’est réellement un faux positif de détecteur d’IA

Un faux positif de détection d’IA signifie que l’outil marque le texte écrit par un humain comme étant généré par une IA. Le détecteur a trouvé un schéma dans ton écriture et en a tiré la mauvaise conclusion sur son auteur.

C’est vraiment une supposition basée sur la forme des phrases.

À quel point cette supposition est-elle fragile ? As-tu lu Orgueil et Préjugés (1813) de Jane Austen ? Et si nous vérifiions l’un des passages sur trois détecteurs d’IA différents pour les besoins de cet argument ?

J’ai vérifié ce passage sur trois détecteurs d’IA différents, et voici les scores :

Score d’IA sur GPTHuman.ai :

Score d’IA sur GPTZero :

Score d’IA sur ZeroGPT :

Un score d’IA de 61,3 % sur un texte écrit il y a 213 ans ? Et le fait que les deux autres détecteurs d’IA aient validé le contenu prouve que chaque détecteur diffère des autres par ses données d’entraînement et ses niveaux de sensibilité.

Tu ne peux pas corriger les faux positifs d’un détecteur d’IA en écrivant mieux, car c’est précisément au « mieux » que le détecteur réagit. Plus c’est propre, plus ça semble coupable.

Nous approfondissons ce sujet dans un blog sur la précision réelle des détecteurs d’IA.

Pourquoi l’écriture humaine est signalée comme IA

Les détecteurs d’IA examinent deux choses. La première est la perplexité, qui correspond à l’originalité de tes choix de mots. La seconde est la « burstiness », qui mesure la variation de la longueur de tes phrases.

Les humains écrivent avec plus de variation et d’imprévisibilité. Nous choisissons des mots originaux et utilisons une ligne courte, puis une longue ligne sinueuse.

Le style de l’IA est fluide et régulier. Ainsi, les détecteurs lanceront une alerte si le texte est trop fluide.

Voici ce qui fait mal… On t’a aussi appris à écrire de manière fluide et régulière.

Pendant cent ans, les écoles ont appris aux gens à rédiger des phrases d’introduction soignées et des conclusions nettes. L’IA a ensuite appris à partir de millions de ces mêmes dissertations. Maintenant, un détecteur identifie cette forme dans ton travail et pense que tu l’as créée à l’aide d’un bot.

Le détecteur ne voit pas une machine ! Il imite l’écriture de la machine. GPTHuman explore un peu plus en profondeur la précision des détecteurs d’IA.

Les rédacteurs les plus souvent signalés

Je comprends que certaines personnes semblent déclencher les détecteurs plus fréquemment, même lorsqu’elles utilisent leurs propres mots. Il s’agit souvent des rédacteurs qui ont fait le plus d’efforts pour paraître précis.

Le coup le plus dur semble tomber sur les rédacteurs anglais non natifs.

Une étude de Stanford a révélé que les outils de détection identifiaient souvent mal la plupart de leurs dissertations tout en ignorant largement celles écrites par des locuteurs natifs.

Et certains signalements sont tout simplement ridicules.

Par exemple, ZeroGPT a évalué la Déclaration d’Indépendance de 1776 comme étant générée à 97,93 % par l’IA. Pourtant, en passant le même texte par GPTZero, il a été jugé majoritairement humain dans un test de Decrypt.

Deux détecteurs analysant le même document vieux de 250 ans et produisant une différence de 90 points, ce n’est pas seulement un oubli. Christopher Penn, un scientifique des données qui a examiné les résultats, a décrit cela comme « peu sophistiqué et nuisible. » Mêmes mots d’un humain, mais décisions complètement différentes des détecteurs.

À quel point les faux positifs des détecteurs d’IA sont-ils réels ?Demande aux universités

Ce n’est pas une mince affaire. Des universités entières ont fait le calcul et ont abandonné.

En 2023, Vanderbilt a désactivé le détecteur d’IA pour Turnitin et a affirmé qu’il était arrêté « pour l’avenir prévisible ». Ils avaient une explication simple et alarmante.

Turnitin a rapporté un taux de faux positifs de 1 %. En un an, Vanderbilt a soumis 75 000 travaux. Ce 1 % identifierait incorrectement environ 750 étudiants. Plusieurs campus de l’Université de Californie et Northwestern ont également arrêté l’outil.

Même les fournisseurs d’outils se protègent. Turnitin continue de prévenir que le score ne devrait pas être la seule base pour pénaliser un étudiant.

Nous l’avons testé

Méthodologie

Le cas ci-dessus a prouvé que les signalements sont réels.

Voici le test que tu peux effectuer toi-même.

J’ai généré un article de 500 mots avec Claude en utilisant l’invite « Explique les faux positifs des détecteurs d’IA. »

J’ai ensuite scanné le résultat à l’aide de GPTZero, ZeroGPT et du détecteur GPTHuman.ai. Après avoir enregistré les scores, j’ai traité le texte via l’humaniseur de GPTHuman et j’ai scanné à nouveau la version révisée à l’aide des mêmes détecteurs.

Voici comment j’ai procédé étape par étape (et tu peux le faire aussi).

Étape 1 : Générer l’article à partir de Claude

Étape 2 : Le passer dans les détecteurs d’IA. Colle le contenu de l’article et note le score d’IA. Une grande partie revient signalée.

Score GPTHuman :

GPTZero :

ZeroGPT :

Étape 3 : Passer ce même texte dans l’humaniseur. Rien d’autre ne change.

Étape 4 : Vérifier à nouveau la version humanisée. Maintenant, recolle la nouvelle version dans le détecteur et compare les scores.

GPTHuman.ai :

ZeroGPT :

GPTZero :

Remplis ceci au fur et à mesure, et dépose tes captures d’écran sous chaque ligne pour que les lecteurs voient eux-mêmes l’avant et l’après :

Pourquoi la paraphrase empire généralement les choses

Une fois signalés, les gens paniquent et commencent à utiliser un outil de paraphrase gratuit. La plupart du temps, le score ne fait qu’augmenter.

C’est parce que les paraphraseurs de base remplacent les mots par leurs synonymes courants. Les mots courants sont des mots prévisibles, et les mots prévisibles réduisent ta perplexité, et c’est ce que les détecteurs pénalisent. Ainsi, la « solution » signifie que ton écriture ressemblera davantage à celle d’une machine, et non l’inverse.

L’excès d’édition entraîne des effets néfastes similaires.

Chaque cycle de révisions a tendance à éliminer un mot unique ou une phrase maladroite, et ces particularités étaient tes marqueurs d’authenticité. Même les outils de vérification grammaticale jouent un rôle là-dedans, c’est pourquoi GPTHuman a cherché à savoir si Grammarly compte comme de l’IA.

Il est intéressant de noter que les outils sur lesquels nous comptons pour rendre notre écriture « plus sûre » ont tendance à l’aplatir dans une forme que les détecteurs signalent facilement. Les correcteurs orthographiques, les remplacements de synonymes et les constructeurs de modèles te poussent vers la norme, et cette norme est précisément ce qui se fait attraper.

Comment réduire ton risque de faux positifs

Tu ne peux pas vraiment contrôler un détecteur, mais tu peux influencer la façon dont ton écriture est perçue par un détecteur d’IA. Le but n’est pas de tromper qui que ce soit ; c’est de ramener cette touche humaine pour que les efforts authentiques ne soient pas mal jugés.

Quelques éléments qui font une énorme différence :

• Utiliser des synonymes n’est qu’un changement de surface ; c’est dans la modification de la structure des phrases que le vrai travail se fait.
• Utilise un sens du rythme dans l’écriture. Les vraies personnes, comme nous l’avons dit, ont tendance à enchaîner des phrases courtes quand elles sont passionnées, puis à les équilibrer avec des phrases plus longues pour détailler.
• Ne modifie pas les schémas après avoir été accusé ; fais-le avant de publier.
• Rappelle-toi, la clé est d’écrire avec émotion plutôt qu’avec une formule rigide, car c’est cette formule même qui a pu faire signaler ton travail auparavant.

Mais si tu as écrit quelque chose qui est signalée à plusieurs reprises par un détecteur d’IA, l’humaniseur d’IA de GPTHuman peut t’aider à restructurer le schéma qui déclenche la détection, réduisant ainsi le risque d’être signalé avant même d’appuyer sur le bouton d’envoi.

Le mot de la fin

Si les outils donnent des faux positifs, ce n’est pas un signe de triche ; cela signifie simplement que ces outils ne voient pas la personne derrière les mots. Même OpenAI a abandonné cette forme de lecture de pensée.

Tu dois donc écrire avec ta propre voix, même si ton écriture n’est pas parfaite. Essaie de garder l’élément humain de l’écriture. Change ton schéma, ne change pas ton honnêteté si tu es signalé par un détecteur.