Open AI revela la auténtica razón por la que ChatGPT miente en algunas ocasiones: “Incentivos equivocados”

OpenAI, la conocida compañía de inteligencia artificial dirigida por Sam Altman, ha compartido un nuevo estudio que trata de responder a por qué los algoritmos de IA más avanzados como el propio ChatGPT sigue inventándose cosas a pesar de los grandes avances en materia de IA. Y es que las llamadas alucinaciones de la inteligencia artificial siguen sucediendo con bastante frecuencia, algo que irrita a muchos usuarios que recurren a la inteligencia artificial de forma habitual.

¿Por qué la IA sufre alucinaciones?

Así, las alucinaciones de la inteligencia artificial con errores que cometen los algoritmos de IA a la hora de interpretar datos o señales, dando por sentado que están experimentando algo que en realidad no sucede o no existe. Un claro ejemplo de este tipo de errores sucede cuando le pedimos a una IA que identifique objetos en imágenes, detectando cosas que en realidad no están allí. Esto sería un buen ejemplo de alucinación de una inteligencia artificial.

El mismo estudio compartido por OpenAI ejemplifica este tipo de errores a través de preguntas sobre estudios o informes ya publicados. De este modo, el autor del informe de OpenAI, Adam Tauman Kalai, preguntó por el título de su propia tesis doctoral, obteniendo hasta tres respuestas distintas, todas ellas erróneas. Después preguntó por su cumpleaños, de nuevo, obteniendo tres fechas distintas y equivocadas.

Pero, ¿por qué suceden este tipo de alucinaciones en la IA? Los motivos son muy variados: desde errores en los datos o algoritmos usados para el entrenamiento a limitaciones de los propios sistemas de IA, además de la posibilidad de basarse en datos deliberadamente falsos sobre fechas, eventos históricos o personalidades, provocando errores que, en ocasiones, son difíciles de detectar.

“Los modelos de lenguaje producen declaraciones plausibles pero falsas”, admiten en el estudio, no sin reconoce que las alucinaciones “seguirán siendo un desafío fundamental” en la generación de datos a través de la inteligencia artificial. Y es que según los investigadores, la causa principal de estos fallos reside en el entrenamiento, la base de cualquier algoritmo de IA.

De este modo, el modelo de IA tiene como objetivo predecir la siguiente palabra entre millones de frases, sin evaluar la autenticidad de esta información usada a modo de fuente, por lo que no sabe realmente si los datos usados con verdaderos o falsos: “El modelo solo ve ejemplos positivos de lenguaje fluido y debe aproximar la distribución general”, aseguran.

Por otro lado, a nivel de gramática no suelen producirse errores, ya que las reglas ortográficas de cualquier idioma son claras: “La ortografía o el uso de paréntesis siguen patrones consistentes. Ahí los errores desaparecen”. Sin embargo, cuando los algoritmos de inteligencia artificial deben sumergirse a través de datos poco frecuentes y sin patrones establecidos, es entonces cuando hay peligro de que tengan lugar las temidas alucinaciones de la IA.

El gran problema de los incentivos de la IA

El entrenamiento no es el único problema al que se enfrenta la IA. Y es que el sistema de evaluación de los modelos predictivos no es capaz de discernir entre diferentes tipos de comportamientos: “Las evaluaciones establecen incentivos erróneos”, se apunta en dicho estudio. En este sentido, se establece un paralelismo con una prueba tipo test con varias opciones de respuesta: el resultado es que puede acertar por simple azar. El problema es que dejar la casilla vacía significa error seguro, por lo que siempre ofrecerá una respuesta, sea o no verdadera: “Mientras las tablas de clasificación sigan premiando a los que adivinan, los modelos seguirán aprendiendo a adivinar”, concluyen.

“Las evaluaciones deberían penalizar los errores seguros con más dureza que la incertidumbre, y dar crédito parcial a expresiones adecuadas de duda”, añaden, escriben. Esto quiere decir que sería preferible que una IA, si no está segura de la respuesta, lo diga antes que ofrecer un dato falso que, seguramente, sea falso. La conclusión es que “si solo modificamos pruebas secundarias, el peso de las evaluaciones principales seguirá incentivando el error”.

Sigue el canal de MeriStation en Twitter. Tu web de videojuegos y de entretenimiento, para conocer todas las noticias, novedades y última hora sobre el mundo del videojuego, cine, series, manga y anime. Avances, análisis, entrevistas, tráileres, gameplays, podcasts y mucho más.

¡Suscríbete! Si estás interesado en licenciar este contenido, pincha aquí.