Según AP, a partir de entrevistas con ingenieros de software, desarrolladores e investigadores académicos, los expertos dijeron que algunos textos generados por IA no son reales y son llamados "alucinaciones". Es revelador que incluyan comentarios raciales, lenguaje violento e incluso tratamientos médicos imaginarios.

Alta tasa de "ilusión" en textos generados por IA

Los expertos están especialmente preocupados porque Whisper se utiliza ampliamente en muchas industrias alrededor del mundo para traducir y transcribir entrevistas, generar textos en tecnologías de consumo populares y crear subtítulos para vídeos.

Lo que es más preocupante es que muchos centros médicos están utilizando Whisper para transferir consultas entre médicos y pacientes, aunque OpenAI ha advertido que la herramienta no debe utilizarse en zonas de “alto riesgo”.

Es difícil determinar la magnitud real del problema, pero los investigadores e ingenieros dicen que regularmente encuentran "alucinaciones" de Whisper en su trabajo.

Un investigador de la Universidad de Michigan dijo que encontró "alucinaciones" en ocho de cada diez conversiones de audio que probó. Un ingeniero informático encontró "alucinaciones" en aproximadamente la mitad de las conversiones de más de 100 horas de audio que analizó. Otro desarrollador dijo que detectó “alucinaciones” en casi todas las 26.000 grabaciones que creó usando Whisper.

El problema persiste incluso con muestras de audio cortas y grabadas con claridad. Un estudio reciente realizado por científicos informáticos descubrió 187 “ilusiones” en más de 13.000 clips de audio claros que examinaron. Esta tendencia conduciría a decenas de miles de transcripciones falsas en millones de grabaciones, dijeron los investigadores.

Estos errores pueden tener “consecuencias muy graves”, especialmente en entornos hospitalarios, según Alondra Nelson, quien dirigió la Oficina de Ciencia y Tecnología de la Casa Blanca en la administración Biden hasta el año pasado.

"Nadie quiere un diagnóstico erróneo", enfatizó Nelson, ahora profesor en el Instituto de Estudios Avanzados de Princeton, Nueva Jersey. "Es necesario que haya un estándar más alto."

El susurro también se utiliza para crear subtítulos para personas sordas o con dificultades auditivas, una población que corre un mayor riesgo de sufrir errores de traducción. Esto se debe a que las personas sordas o con dificultades auditivas no tienen forma de identificar pasajes inventados “ocultos en el resto del texto”, dice Christian Vogler, quien es sordo y director del Programa de Accesibilidad Tecnológica de la Universidad Gallaudet.

Se recurre a OpenAI para resolver el problema

La prevalencia de tales “alucinaciones” ha llevado a expertos, defensores y ex empleados de OpenAI a pedir al gobierno federal que considere regular la IA. Como mínimo, OpenAI debería solucionar este error.

"Este problema tiene solución si la empresa está dispuesta a priorizarlo", dijo William Saunders, un ingeniero de investigación en San Francisco que dejó OpenAI en febrero por preocupaciones sobre la dirección de la empresa.

“Sería un problema si lo lanzas y la gente se confía demasiado en sus capacidades y luego lo integras con todos esos otros sistemas”. Un portavoz de OpenAI dijo que la compañía está constantemente investigando formas de mitigar las "ilusiones" y aprecia los hallazgos de los investigadores, y agregó que OpenAI incorpora retroalimentación en las actualizaciones del modelo.

Si bien la mayoría de los desarrolladores asumen que los motores de texto a voz pueden cometer errores tipográficos u otros errores, los ingenieros e investigadores dicen que nunca han visto un motor de texto a voz impulsado por IA que "alucine" tanto como Whisper.

Premio Nobel de Física 2024: Los fundadores de la IA

El Premio Nobel de Física de este año fue otorgado a dos científicos, John J. Hopfield y Geoffrey E. Hinton, por "los descubrimientos e invenciones fundamentales que llevaron al desarrollo del aprendizaje automático con redes neuronales artificiales".