Etiqueta: verificación

Hay un pacto implícito en la publicación científica que rara vez se menciona porque siempre se ha dado por hecho: lo que se cita existe y lo que se afirma puede verificarse. Ese acuerdo silencioso es la base del sistema científico. Si se rompe, el problema no es puntual; afecta a todo el edificio del conocimiento.Dos investigaciones recientes publicadas en Nature ponen en cuestión ese fundamento. Ambas apuntan a una misma causa: el impacto de la IA generativa en la producción y validación del conocimiento científico.El problema de las referencias inventadas en artículos científicosMás de 110.000 artículos con citas inválidasUno de los estudios analiza más de 4.000 publicaciones de 2025 en colaboración con la empresa Grounded AI. La conclusión es clara y preocupante: más de 110.000 artículos científicos publicados ese año podrían contener referencias inválidas generadas por modelos de lenguaje.En el ámbito de las conferencias de informática, el crecimiento es especialmente significativo. Los trabajos con al menos una cita inventada pasaron del 0,3% en 2024 al 2,6% en 2025. Es decir, casi nueve veces más en solo un año.Qué son las “Frankenstein citations”No se trata de simples errores tipográficos. El fenómeno descrito va más allá. Se habla de Frankenstein citations: combinaciones de elementos reales —nombres de autores, títulos plausibles, revistas existentes— ensamblados por IA para crear referencias que parecen legítimas pero que no conducen a ningún trabajo real. El resultado es especialmente problemático porque estas citas no son fácilmente detectables a simple vista. Tienen apariencia académica, pero carecen de respaldo real.Impacto en el proceso editorialUna editora citada en el análisis aporta un dato revelador: en enero rechazó el 25% de los manuscritos recibidos por incluir referencias falsas. Esto implica que uno de cada cuatro trabajos presentados no superaba un requisito básico: la veracidad de sus fuentes.La bixonimania: cuando una enfermedad ficticia se vuelve “real”Un experimento deliberadoEl segundo caso documentado es aún más inquietante porque no es accidental. La investigadora Almira Osmanovic Thunström diseñó un experimento para comprobar cómo reaccionan los sistemas ante información falsa.Inventó una enfermedad ficticia llamada bixonimania y publicó dos preprints firmados por un autor inexistente. Los textos incluían señales evidentes de falsedad: financiación absurda, referencias ficticias e incluso una frase explícita indicando que todo el contenido era inventado.Cómo reaccionaron los modelos de lenguajeA pesar de estas señales, distintos modelos de IA generativa comenzaron a tratar la bixonimania como una enfermedad real. No solo la describían, sino que añadían datos inventados como prevalencias o características clínicas.Esto muestra un problema clave: los modelos no distinguen adecuadamente entre contenido validado y contenido no revisado cuando ambos están presentes en su corpus de entrenamiento.Del error digital al registro científicoEl experimento fue aún más lejos. Un artículo publicado en una revista científica llegó a citar uno de esos preprints como si fuera una fuente legítima. Aunque posteriormente fue retractado, el caso demuestra que la contaminación no se queda en los modelos de IA, sino que puede trasladarse al sistema científico formal.El patrón de fondo: cómo se amplifica el errorLos LLMs no solo inventan, también propaganEs conocido que los modelos de lenguaje pueden generar información incorrecta. Sin embargo, estos estudios señalan algo más relevante: no solo inventan contenido, sino que amplifican cualquier error presente en los datos de origen.El papel de los preprints en el problemaUna parte clave del sistema actual son los preprints: documentos científicos que no han pasado por revisión por pares. Son útiles para acelerar la difusión del conocimiento, pero también introducen ruido.Los modelos de IA procesan estos documentos sin diferenciar claramente su nivel de validación respecto a artículos revisados.El ciclo de contaminaciónSe genera así un ciclo difícil de romper:Un contenido falso entra en el corpus (por ejemplo, un preprint).Un modelo lo procesa y lo presenta como válido.Un investigador utiliza ese contenido como referencia.El nuevo artículo entra en el corpus como señal de legitimidad.Este bucle convierte errores puntuales en conocimiento aparentemente consolidado.Qué implica esto para el futuro de la cienciaRiesgo de erosión de la confianzaSi no se controla este fenómeno, la consecuencia más grave es la pérdida progresiva de confianza en la literatura científica. El problema no es solo técnico, sino estructural.La necesidad de sistemas de verificaciónLa dirección a seguir parece clara: desarrollar mecanismos automáticos de verificación que detecten referencias inválidas antes de la publicación.No se trata de eliminar la IA del proceso científico, sino de introducir controles que eviten que los errores escalen.Innovación sin control: un riesgo realLa IA generativa está acelerando la investigación de forma evidente. Sin embargo, avanzar más rápido sin mecanismos de control no es progreso, sino una forma de perder trazabilidad y fiabilidad.Un cambio silencioso que lo afecta todoEl engaño en la ciencia no es nuevo. Lo que sí ha cambiado es su escala, su coste y su invisibilidad. La IA generativa ha reducido las barreras para producir contenido aparentemente riguroso, pero potencialmente falso.El reto no es frenar la tecnología, sino adaptar el sistema científico a una nueva realidad donde ya no basta con asumir que una cita existe porque alguien la ha escrito.Porque si ese supuesto deja de ser válido, el problema no es puntual. Es sistémico.Call to action finalSi quieres entender cómo incorporar la inteligencia artificial en tu empresa de forma útil, segura y con criterio, puedes contactar conmigo para formaciones in company en IA aplicada a negocio. Trabajo desde una perspectiva práctica, estratégica y también jurídica, como abogada especializada en AI Act, para que la adopción de herramientas de IA no solo sea eficaz, sino también responsable.