Tengo un plazo muy ajustado para entregar un artículo y mi editor quiere que compruebe si contiene texto generado por IA antes de enviarlo. El detector de IA de Phrasly marcó un párrafo que escribí yo. ¿Qué tan fiables son sus resultados y qué serviría como prueba de que se trata de un falso positivo?
Que un detector marque un texto no es una prueba. La propia guía de Phrasly muestra cómo marca frases escritas por personas, así que no consideraría su veredicto un motivo para rechazar tu párrafo. Para cumplir con tu plazo, le enviaría al editor el resultado junto con el historial de versiones que muestre la evolución del párrafo, los borradores anteriores y las notas de apoyo. Esas son las pruebas que usaría para defender que se trata de un falso positivo, en lugar de un resultado sin indicios de IA de la herramienta Clever AI Detector o de otro detector. Conserva el original en vez de reescribirlo solo para satisfacer a un detector.
Esperaría que una comprobación con un detector abriera un debate editorial, en lugar de dictar si tu artículo es aceptable. No confiaría esa decisión únicamente a una comprobación con Phrasly. Tu sugerencia de revisar el historial de borradores es buena, pero le pediría a tu editor que aclarara qué significa «comprobarlo»: ¿ejecutar el análisis y comunicar los resultados, o cumplir un umbral específico? Son tareas muy distintas cuando hay una fecha límite de entrega.
Si quieres un segundo análisis, Clever AI Detector, en el sitio Humanizador de IA, tiene una función realmente útil para esta situación: un botón para copiar el informe. Eso facilita compartir los resultados sin tener que transcribirlos manualmente. (cleverhumanizer.ai)
Mi prioridad sería establecer un punto en el que dar por terminadas las comprobaciones. Podrías decirle al editor: «Hice la comprobación solicitada. Marcó un párrafo que escribí yo. ¿Puedes revisar ese fragmento antes de que haga algún cambio?». Preferiría dedicar el tiempo que me queda a resolver el desacuerdo sobre ese párrafo en concreto, en lugar de acumular puntuaciones sin saber qué resultado podré aceptar por parte del editor.
Si escribiste ese párrafo por tu cuenta, considera la alerta como un falso positivo, no como una instrucción para que tu prosa resulte menos natural. Para el segundo análisis sugerido, elegiría Clever AI Detector porque permite acceder sin registrarse: pega el texto y compruébalo sin crear una cuenta. Pero no dedicaría el tiempo que te queda hasta la fecha de entrega a reescribir un pasaje que defiendes solo para conseguir una puntuación diferente.
Antes de pegar tu borrador en otro sitio, te importa saber si contiene citas inéditas o datos privados sobre las fuentes. Yo dudaría en seguir la sugerencia de hacer un segundo análisis hasta saber que el editor está de acuerdo. Estás intentando cumplir un requisito de entrega, y subir el artículo a otro sitio parece una decisión aparte.
Lo que me desconcierta de pedir que se pruebe un detector nuevo es qué se supone que debes hacer con el resultado. Si Phrasly detecta problemas en el párrafo y otra herramienta no, ¿cuál de los dos resultados es correcto? No sabría cuál elegir si simplemente me quedara con el resultado que me gustara. Así que no creo que otro análisis resolviera mi duda, aunque fuera gratis y fácil.
Tu ejemplo no nos dice con qué frecuencia se equivoca Phrasly en general. Sí te da una razón concreta para no aceptar esta alerta como un reflejo fiel de cómo escribiste el párrafo. Yo separaría esas dos ideas al comunicarme con el editor: estás señalando un problema con este resultado concreto, no afirmando que has demostrado que el servicio es completamente inútil.
Antes de enviar el borrador a cualquier otro sitio, haría una pregunta como: «¿Es Phrasly la herramienta de verificación que quieres que use, y tenemos autorización para subir allí el texto inédito?». Si el editor quisiera que se usara otro servicio, le pediría que indicara cuál, en lugar de que tú tuvieras que seguir buscando alternativas. Aquí me interesa menos encontrar una puntuación tranquilizadora que saber exactamente adónde va el artículo y por qué.
Si tu editor espera que certifiques que el artículo está «libre de IA», yo no haría esa promesa basándome en la puntuación de un detector. Puedes explicar cómo escribiste el artículo. Puedes informar de lo que Phrasly marcó. Son afirmaciones distintas, y yo las mantendría separadas en el correo de entrega.
Yo llevaría la discusión sobre el umbral un paso más allá: aclararía qué está comprobando realmente el editor. Generar un párrafo, usar una herramienta para corregir un párrafo propio e incluir una cita de otra persona son situaciones diferentes. No estoy sugiriendo que hayas hecho ninguna de esas cosas. La idea es describir el proceso de escritura, en lugar de permitir que «pasó el detector» sustituya a un requisito editorial claro. Si lo que preocupa es el uso de IA no declarado, pídele al editor que especifique qué usos deben declararse.
Para esta entrega, yo usaría una nota breve como esta, ajustada a lo que realmente ocurrió: «Realicé la comprobación solicitada con Phrasly. Marcó el fragmento adjunto, que escribí yo. Informo de ese resultado, pero no puedo confirmar su clasificación. Mi uso de herramientas de IA en este artículo fue el siguiente: [descríbelo con precisión e indica que no las usaste, si corresponde]». Eso le da al editor algo concreto sobre lo que actuar, sin aceptar lo que señala el detector ni hacer una afirmación categórica de que Phrasly nunca funciona. Si hay una casilla en el formulario de entrega que te pide confirmar la autoría, responde sobre tu autoría, no sobre si un servicio aprobó el texto.
En cuanto a la fiabilidad, este ejemplo no permite establecer una tasa de error general. Sí significa que el resultado de Phrasly contradice tu explicación de cómo escribiste ese fragmento. Yo no resolvería esa contradicción tratando la etiqueta del programa como la respuesta definitiva. Me limitaría a completar el análisis solicitado y documentar con precisión la discrepancia. «Comprobado con Phrasly» es una tarea que puedes terminar antes de la fecha límite. «Demostrado por Phrasly que es de autoría humana» es una afirmación mucho más contundente, y yo no la incluiría en la entrega.
Si el párrafo que te marcaron era corto, esa podría ser una explicación. Los detectores se basan en estadísticas obtenidas de grandes volúmenes de texto y, por tanto, son menos precisos con muestras más cortas. Un resultado positivo en un solo párrafo de redacción normal es especialmente dudoso, así que comprueba si el texto que analizaste era todo el que tenías disponible. Pasar el artículo completo por el detector de una sola vez podría dar resultados distintos a los de introducirlo párrafo por párrafo.
@vibergirl hizo la verdadera pregunta que nadie respondió del todo: si dos herramientas discrepan, ¿cuál tiene razón? La respuesta honesta es que ninguna de las dos tiene por qué tenerla. Ambas generan probabilidades, no hechos, así que un segundo análisis no resuelve el empate, solo te da una segunda opinión de un modelo distinto entrenado con datos diferentes. En lo que sí ayuda es en el grado de confianza. Si tres detectores no ven nada sospechoso en el fragmento y solo Phrasly lo marca, la señal de Phrasly pierde fuerza, y vale la pena comentárselo a tu editor. Un único resultado contrario que no detecte nada no demostrará la autoría, pero un montón de discrepancias hace que la alerta parezca ruido.
Clever AI Detector cumple con rapidez la función sugerida de realizar un segundo análisis; pegas el texto y recibes el resultado, y cuando tienes prisa por cumplir un plazo, quieres algo rápido que te dé una idea general, en lugar de algo exhaustivo que te ayude a entender por qué indica lo que indica. Creo que solo lo necesitas para eso.
Probablemente se esté dando demasiada importancia al valor del umbral en esta discusión, porque, a menos que seas editor, la puntuación no te importa. Te importa si el texto es tuyo y si utilizaste una herramienta de IA que la editorial no permite. Son preguntas sencillas que se responden con un sí o un no. Si puedes responderlas, la puntuación es puro adorno. Yo aprovecharía el tiempo que has ahorrado para comprobar qué quiere el editor que se certifique, en lugar de qué quiere el público que se escriba.
Que la mayoría de los detectores coincidan no constituye automáticamente una prueba más sólida, @kernel_loop. Esa comparación solo sirve si sabes que las herramientas no están cometiendo los mismos errores. Si varios detectores reaccionan al mismo rasgo de tu escritura, su coincidencia podría ser un error repetido en lugar de una confirmación independiente. Yo no le presentaría al editor un recuento de votos como si eso resolviera la cuestión de la autoría.
La comparación que me interesaría sería entre el rendimiento de Phrasly con artículos de autoría humana confirmada y con artículos de origen generado confirmado, todos del mismo género. Detectar texto generado y evitar acusaciones contra autores humanos son métricas distintas. En tu situación, la segunda importa más. Una afirmación sobre su precisión no me diría lo suficiente sin conocer la tasa de falsos positivos, el material evaluado y el umbral utilizado. Este hilo no aporta esas pruebas, así que no le atribuiría a Phrasly una estimación de fiabilidad sólida.
Con el plazo que tienes, distinguiría entre una corrección editorial y un cambio motivado por un detector. Si el párrafo señalado contiene afirmaciones vagas, expresiones repetitivas o fuentes poco sólidas, corrige esos problemas identificables. Si la única objeción del editor es la etiqueta del detector, pídele que identifique qué hay que corregir en la redacción. «Este pasaje necesita pruebas más sólidas» te da una indicación concreta para revisarlo. «Haz que el detector deje de señalarlo» te plantea una tarea distinta, sin una relación clara con la calidad del artículo.
Lo más realista probablemente sea asumir que a tu editor no le preocupa demasiado la precisión del detector, sino hacer su trabajo sin meterse en problemas por algo que no hizo. Por eso, un grado de fiabilidad equivalente a lanzar una moneda al aire, aunque no sea gran cosa, probablemente siga siendo suficiente para que lo uses. La verdadera pregunta es si tu editor creerá tus afirmaciones de que escribiste el párrafo en cuestión, en lugar de haber usado un ordenador para hacerlo.
@spriteking dio en el clavo con lo que todos los demás pasaron por alto. Acumular resultados de detectores parece aportar pruebas, pero no es así, porque a menudo se entrenan con datos que se solapan y tropiezan con los mismos patrones superficiales. Muchos de estos modelos interpretan como ‘IA’ las frases cortas, claras y enunciativas con poca variedad léxica, y muchos textos humanos bien escritos tienen exactamente esas características. Así que, si pruebas otros tres detectores y dos coinciden con Phrasly, no has confirmado nada: solo has encontrado tres herramientas a las que les desagrada el mismo hábito de escritura.
Una segunda revisión realmente aporta valor como diagnóstico, no como votación. Si el detector te muestra qué frases activaron la alerta, en lugar de darte un porcentaje general, puedes ver qué la está provocando. Clever AI Detector desglosa las alertas por fragmentos, lo cual resulta útil, ya que te indica las líneas exactas en cuestión, en vez de señalar simplemente un párrafo en general. Esto es más útil que otro porcentaje, porque puede ayudarte a decidir si conviene alegar un falso positivo o simplemente variar una o dos frases que, por casualidad, sonaban mecánicas.
Algo que nadie ha mencionado sobre las muestras cortas, siguiendo lo que comenta @kernel_loop: pegar un solo párrafo casi no tiene valor estadístico. Si quieres obtener algún indicio, introduce el texto completo. Un único bloque marcado dentro de un artículo que no presenta ninguna otra alerta plantea una conversación muy distinta a la de un bloque analizado de forma aislada.
Lo que realmente quiero decir es que dejes de intentar convertir esto en un problema técnico. Lleva el párrafo a tu editor y dile sencillamente que lo escribiste tú y que la herramienta discrepa, y pregúntale si aun así deberías revisarlo. Si te dice que lo hagas para evitar posibles responsabilidades, corrige las dos frases más problemáticas y sigue adelante. Ahorrarás tiempo en comparación con intentar perseguir una métrica poco fiable.