Los grandes modelos lingüísticos no se preocupan por la verdad, porque no la comprenden, y ahí reside el peligro.
Por: John Thornhill / The Financial Times
Según el filósofo Harry Frankfurt (1929-2023), la mentira no es el mayor enemigo de la verdad. El brócoli es aún peor.
Como explicó en su clásico ensayo Sobre las mentiras, 1986, un mentiroso y un veraz juegan el mismo juego, pero en bandos opuestos. Cada uno reacciona a los hechos según su comprensión de ellos y acepta o rechaza la autoridad de la verdad. Pero quien dice disparates ignora por completo estos requisitos. «No rechaza la autoridad de la verdad, como lo hace el mentiroso, ni se opone a ella. Simplemente no le presta atención. Por esta razón, el disparate es el mayor enemigo de la verdad que la mentira». Esta persona quiere convencer a los demás, sin importar los hechos.
Desafortunadamente, Frankfurt falleció en 2023, tan solo unos meses después de su publicación. Pero leer su ensayo en la era de la inteligencia artificial generativa [IA] evoca una sensación familiar pero inquietante. En cierto modo, el ensayo de Frankfurt describe con precisión el resultado de los grandes modelos lingüísticos con inteligencia artificial. No se preocupan por la verdad, porque no la comprenden. Operan basándose en correlaciones estadísticas, no en observaciones empíricas.
“Su mayor fortaleza, pero también su mayor peligro, es su capacidad de parecer autorizados en casi cualquier tema, independientemente de la precisión fáctica. En otras palabras, su superpoder es su capacidad sobrehumana para mentir”, escribieron Carl Bergstrom y Jevin West. Ambos profesores de la Universidad de Washington ofrecen un curso en línea: “¿Oráculos modernos o máquinas de prestidigitación?”, que analiza estos modelos. Otros han llamado a los productos de estas máquinas botshit.
Una de las características más conocidas y perturbadoras, aunque a veces creativas, de los los grandes modelos lingüísticos es su «alucinación» de los hechos, o simplemente su invención. Algunos investigadores argumentan que se trata de una característica intrínseca de los modelos de probabilidad, no de un defecto solucionable. Sin embargo, las empresas de IA intentan resolver este problema mejorando la calidad de los datos, ajustando mejor los modelos y desarrollando sistemas de verificación de datos.
Sin embargo, parece que aún les queda camino por recorrer, considerando que un abogado de una empresa antrópica declaró ante un tribunal de California este mes que su bufete había presentado inadvertidamente una cita falsa y alucinatoria de Claude, el modelo de IA de la empresa. Como advierte el chatbot a Google: «Gemini puede cometer errores, incluso relacionados con las personas, así que compruébalo dos veces». Esto no impidió que Google introdujera esta semana un «modo IA» en todos sus servicios principales en EE. UU.
Las formas en que estas empresas intentan mejorar sus modelos, incluyendo el aprendizaje por refuerzo a partir de la retroalimentación y las aportaciones de las personas, suponen el riesgo de introducir sesgos, distorsiones y juicios de valor inconscientes. Como ha demostrado el Financial Times, los chatbots de IA de OpenAI, anthropic, Google, Meta, XAI y DeepSeek describen las cualidades de sus directores ejecutivos y rivales de maneras muy diferentes. Grok, Elon Musk, también ha promovido memes sobre el «genocidio blanco» en Sudáfrica, en respuesta a una reacción completamente ajena. XAI afirmó haber solucionado el problema, que se atribuyó a una «modificación no autorizada».
Estos patrones crean una nueva categoría, aún más peligrosa, de daño potencial, o «discurso descuidado», según Sandra Wachter, Brent Mittelstadt y Chris Russell en un artículo del Oxford Internet Institute. El discurso descuidado, afirman, puede causar daños sutiles, a largo plazo y acumulativos. Es como una «burbuja invisible» que vuelve a la sociedad más imprudente, afirma Wachter.
Al menos con un político o un vendedor, normalmente podemos entender su motivación. Pero los chatbots no tienen ningún propósito y están diseñados para la credibilidad y la interacción, no para la precisión. Inventarán hechos sin ningún propósito. Pueden contaminar la base de conocimiento de la humanidad de maneras inimaginables.
La pregunta interesante es si los modelos de IA pueden diseñarse para un mayor nivel de veracidad. ¿Habrá demanda de mercado para ellos? ¿O debería obligarse a los desarrolladores de modelos a cumplir con estándares de veracidad más altos, como ocurre con los anunciantes, abogados y médicos, por ejemplo? Wachter sugiere que desarrollar modelos más veraces requeriría tiempo, dinero y recursos, precisamente lo que las versiones actuales están diseñadas para ahorrar. «Es como querer que un coche se convierta en un avión. Puedes lanzarlo por un precipicio, pero no desafiará la gravedad», afirma.
Sin embargo, los modelos de IA generativa aún pueden ser útiles y valiosos. Muchas carreras lucrativas, incluso políticas, se han construido sobre jerga. Si se utiliza adecuadamente, la IA generativa puede aprovecharse para una multitud de casos de uso empresarial. Pero es engañoso y peligroso confundir estos modelos con máquinas de la verdad.
