Falsos positivos de los detectores de IA: por qué su escritura humana se marca como IA

En julio de 2023, OpenAI cerró su propio detector de IA. La empresa que creó ChatGPT no pudo crear una herramienta que detectara ChatGPT de forma fiable.

Dijeron: «Nuestro clasificador no es del todo fiable».

Si quienes crearon el robot no pueden construir una máquina que detecte al robot, ¿qué posibilidades tiene un clasificador frente a su propio ensayo?

Tiene toda la razón al preguntarse por qué su escritura humana se está marcando como IA.

A quienes más se acusa suele ser a los mejores escritores.

Un falso positivo no es señal de que haya escrito mal. Es señal de que escribió como le enseñaron, y la IA también se entrenó a partir de las mismas fuentes.

En este blog, explicaremos qué es un falso positivo, por qué se marca su escritura y cómo evitarlo, junto con el mejor humanizador que puede utilizar.

Puntos clave

• Un falso positivo es cuando, por error, un texto escrito por una persona se marca como IA.
• OpenAI cerró su propio detector de IA en 2023 debido a sus bajas tasas de precisión.
• Los detectores puntúan su escritura según patrones estadísticos, no según quién la haya escrito realmente.
• Vanderbilt y otras universidades desactivaron el detector de IA de Turnitin por los falsos positivos.
• La escritura limpia, formal y “correcta” se marca más, no menos.
• Puede reducir los falsos positivos de IA escribiendo con su propio ritmo y su propia voz. También puede romper patrones de escritura para evitar marcas de IA antes de entregar su trabajo.

Qué es realmente un falso positivo de un detector de IA

Un falso positivo en la detección de IA significa que la herramienta marca un texto escrito por una persona como generado por IA. El detector encontró un patrón en su escritura y sacó una conclusión equivocada sobre quién lo creó.

En realidad, no es más que una suposición basada en la forma de las frases.

¿Hasta qué punto es endeble esa suposición? ¿Ha leído Orgullo y prejuicio (1813) de Jane Austen? ¿Y si, para este argumento, comprobamos uno de los pasajes en tres detectores de IA distintos?

Comprobé este pasaje en tres detectores de IA distintos, y estas son las puntuaciones:

Puntuación de IA en GPTHuman.ai:

Puntuación de IA en GPTZero:

Puntuación de IA en ZeroGPT:

¿Un 61,3 % de puntuación de IA en algo escrito hace 213 años? Y el hecho de que los otros dos detectores de IA aprobaran el contenido demuestra que cada detector difiere de los demás en sus datos de entrenamiento y niveles de sensibilidad.

No puede corregir los falsos positivos de un detector de IA escribiendo mejor, porque “mejor” es precisamente a lo que reacciona el detector. Cuanto más limpio lo deje, más culpable parece.

Profundizamos en esto en un blog sobre lo precisos que son realmente los detectores de IA.

Por qué la escritura humana se marca como IA

Los detectores de IA examinan dos cosas. La primera es la perplejidad, que mide lo únicas que son sus elecciones de palabras. La segunda es la “burstiness”, que mide cómo varía la longitud de sus frases.

Las personas escribimos con más variación e imprevisibilidad. Elegimos palabras poco habituales y usamos una línea corta y, después, una línea larga y divagante.

El estilo de la IA es fluido y uniforme. Por eso, los detectores lanzan una alerta si el texto es demasiado uniforme.

Y aquí está el problema… A usted también le enseñaron a escribir de forma fluida y uniforme.

Durante cien años, las escuelas han enseñado a la gente a escribir frases temáticas ordenadas y conclusiones pulcras. La IA aprendió después a partir de millones de ensayos iguales. Ahora, un detector identifica esa forma en su trabajo y cree que lo creó con ayuda de un bot.

¡El detector no ve una máquina! Está imitando la escritura de la máquina. GPTHuman profundiza un poco más en la precisión de los detectores de IA.

Los escritores a los que más se marca

Entiendo que algunas personas parecen activar los detectores con más frecuencia, incluso cuando usan sus propias palabras. A menudo, parece que son quienes más se han esforzado por sonar precisos.

El mayor golpe parece recaer en los escritores de inglés no nativos.

Un estudio de Stanford reveló que las herramientas de detección identificaban erróneamente muchos de sus ensayos, mientras que en gran medida pasaban por alto los escritos por hablantes nativos.

Y algunas de las marcas son sencillamente ridículas.

Por ejemplo, ZeroGPT calificó la Declaración de Independencia de 1776 como un 97,93 % generada por IA. Sin embargo, al pasar el mismo texto por GPTZero, se consideró mayoritariamente humano en una prueba de Decrypt.

Que dos detectores analicen el mismo documento de 250 años y produzcan una diferencia de 90 puntos no es un simple descuido. Christopher Penn, un científico de datos que revisó los resultados, lo describió como «poco sofisticado y perjudicial». Las mismas palabras de una persona, pero dictámenes completamente distintos de los detectores.

Hasta qué punto son reales los falsos positivos de los detectores de IA? Pregunte a las universidades

Esto no es una preocupación menor. Universidades enteras han hecho los cálculos y han dado marcha atrás.

En 2023, Vanderbilt desactivó el detector de IA de Turnitin y afirmó que estaría desactivado «por el futuro previsible». Tenían una explicación sencilla y alarmante.

Turnitin informó de una tasa de falsos positivos del 1 %. En un año, Vanderbilt presentó 75.000 trabajos. Ese 1 % identificaría incorrectamente a aproximadamente 750 estudiantes. Varios campus de la Universidad de California y Northwestern también desactivaron la herramienta.

Incluso los proveedores de herramientas se cubren. Turnitin sigue advirtiendo que la puntuación no debería ser la única base para sancionar a un estudiante.

Lo probamos

Metodología

El caso anterior demostró que las marcas son reales.

Aquí tiene la prueba que puede hacer usted mismo.

Generé un artículo de 500 palabras con Claude usando el prompt «Explain AI detector false positives.»

Después, escaneé el resultado con GPTZero, ZeroGPT y el detector de GPTHuman.ai. Tras registrar las puntuaciones, procesé el texto con el Humanizer de GPTHuman y volví a escanear la versión revisada con los mismos detectores.

Así es como lo hice paso a paso (y usted también puede).

Paso 1: Generar el artículo con Claude

Paso 2: Pasarlo por detectores de IA. Pegue el contenido del artículo y anote la puntuación de IA. Gran parte vuelve marcada.

Puntuación de GPTHuman:

GPTZero:

ZeroGPT:

Paso 3: Pasar ese mismo texto por el humanizador. No cambia nada más.

Paso 4: Comprobar de nuevo la versión humanizada. Ahora pegue la nueva versión de nuevo en el detector y compare las puntuaciones.

GPTHuman.ai:

ZeroGPT:

GPTZero:

Rellene esto a medida que avanza y añada sus capturas de pantalla debajo de cada fila para que los lectores vean el antes y el después por sí mismos:

Por qué parafrasear suele empeorarlo

Cuando se marca a la gente, entra en pánico y empieza a usar una herramienta gratuita de parafraseo. La puntuación, la mayoría de las veces, solo aumenta.

Esto ocurre porque los parafraseadores básicos sustituyen palabras por sus sinónimos más comunes. Las palabras comunes son palabras predecibles, y las palabras predecibles reducen su perplejidad, y eso es lo que penalizan los detectores. Así que el “arreglo” hace que su escritura suene más a máquina, no menos.

La sobreedición provoca efectos adversos similares.

Cada ronda de revisiones tiende a eliminar una palabra única o una frase torpe, y esas rarezas eran sus marcas de autenticidad. Incluso las herramientas de corrección gramatical influyen, por eso GPTHuman ha investigado si Grammarly cuenta como IA.

Es interesante observar que las herramientas en las que confiamos para que nuestra escritura sea “más segura” tienden a aplanarla hasta convertirla en una forma que los detectores marcan con facilidad. Los correctores ortográficos, los reemplazos de sinónimos y los creadores de plantillas le empujan hacia la norma, y esa norma es exactamente lo que se detecta.

Cómo reducir el riesgo de falsos positivos

No puede controlar realmente un detector, pero sí puede influir en cómo se percibe su escritura ante un detector de IA. El objetivo no es engañar a nadie; es recuperar ese toque humano para que los esfuerzos genuinos no se juzguen mal.

Algunas cosas que marcan una gran diferencia:

• Usar sinónimos es un cambio superficial; donde está el verdadero trabajo es en alterar la estructura de las frases.
• Use el sentido del ritmo al escribir. Las personas reales, como hemos dicho, tendemos a encadenar frases cortas cuando nos apasiona algo y luego las equilibramos con otras más largas para desarrollar la idea.
• No cambie los patrones después de que le acusen; cámbielos antes de publicar.
• Recuerde: la clave es escribir con emoción en lugar de con una fórmula rígida, ya que esa misma fórmula podría haber hecho que su trabajo se marcara anteriormente.

Pero si ha escrito algo que se marca repetidamente con un detector de IA, el humanizador de IA de GPTHuman puede ayudarle a reestructurar el patrón que activa la detección, reduciendo el riesgo de que se marque incluso antes de pulsar el botón de enviar.

Palabras finales

Si las herramientas dan falsos positivos, no es señal de trampa; solo significa que estas herramientas no ven a la persona detrás de las palabras. Incluso OpenAI ha abandonado esta forma de lectura de mentes.

Así que necesita escribir con su propia voz, aunque su escritura no sea perfecta. Intente mantener el elemento humano del texto. Cambie su patrón; no cambie su honestidad si un detector le marca.