¿Por qué los modelos de IA alucinan? · 5 min
Si la IA es tan avanzada, ¿por qué a veces se inventa cosas? Me llamo Jordan, y trabajo en Anthropic. Nosotros creamos Claude, un asistente de IA, y hacemos mucho para asegurarnos de que te dé información precisa. Pero a veces las IAs igual se inventan cosas. A estos errores los llamamos alucinaciones. Y a menudo son peores que un simple error, porque la IA parecerá muy segura de sí misma, o incluso intentará convencerte de que tiene razón.
Las alucinaciones pueden aparecer de muchas formas. La IA podría citar un artículo de investigación que no existe, inventar estadísticas falsas, o equivocarse con hechos sobre personas o eventos reales. Así es como se ve. Le pediste a Claude que te contara sobre algunos artículos escritos por Jared Kaplan. Te da respuestas con total seguridad. Ninguno de esos títulos existe en realidad.
Claude alucina mucho menos que hace apenas un año. Sinceramente, nos tomó un tiempo encontrar un ejemplo como este porque hemos invertido mucho trabajo en reducir las alucinaciones en Claude. Pero ese es justamente el punto. Las alucinaciones son difíciles de anticipar, difíciles de detectar, y la respuesta incorrecta a menudo se ve exactamente como si pudiera ser la correcta. Y como las alucinaciones son cada vez más raras, la gente a menudo no se molesta en verificar el trabajo de la IA. Así que hablemos de por qué sucede esto, qué estamos haciendo al respecto, y cómo puedes detectar alucinaciones cuando usas IA.
Los asistentes de IA como Claude aprenden leyendo enormes cantidades de texto de internet. Se vuelven muy buenos descubriendo qué palabras o ideas suelen venir a continuación. Es algo parecido a cómo tu teléfono te sugiere la siguiente palabra mientras escribes. Esto funciona bien la mayor parte del tiempo. Pero cuando preguntas sobre algo poco conocido, como artículos de investigación específicos de un investigador relativamente desconocido, simplemente no hay suficiente información de la que la IA pueda partir. Así que intenta ser útil y hace una suposición. Y a veces esa suposición es incorrecta.
Es un poco como preguntarle a un amigo que ha leído todos los libros populares y se enorgullece de conocer todos los datos curiosos sobre ellos. Pero como quiere parecer el experto, a veces dice algo con seguridad que está mal en lugar de admitir: "No lo sé". Las IAs están entrenadas para ser útiles, así que quieren darte alguna respuesta incluso cuando no están seguras.
Pero tenemos formas de mitigar esto. Durante el entrenamiento, le enseñamos a Claude a ser honesto y a decir "No lo sé" cuando no está seguro. Intentamos enseñarle a Claude que ser honesto es tanto lo correcto como también parte de cómo ser más útil.
Probamos a Claude regularmente con miles de preguntas diseñadas específicamente para hacerlo tropezar. Datos poco conocidos, temas de nicho, preguntas donde la respuesta honesta es "No lo sé". Medimos cosas como: ¿Con qué frecuencia Claude dice correctamente que no está seguro? ¿Inventa citas o estadísticas? ¿Con qué frecuencia se cubre apropiadamente frente a afirmar algo falso con seguridad? Estas pruebas nos ayudan a detectar problemas y a seguir nuestro progreso. Con cada nueva versión de Claude, hemos visto mejoras, pero somos honestos en que este es un desafío continuo para todo el campo de la IA, y no para nada un problema resuelto.
Si te preguntas cómo detectar cuándo sucede esto, las alucinaciones son más propensas a ocurrir en algunos tipos de situaciones. Por ejemplo, si estás pidiendo hechos específicos, estadísticas o citas, o si el tema es poco conocido, de nicho, o muy reciente, si estás preguntando sobre personas o lugares reales pero no muy conocidos, o cuando necesitas detalles exactos como fechas, nombres o números.
Aquí tienes algunos consejos que puedes usar para reducir las alucinaciones. Primero, pídele a la IA que encuentre fuentes que respalden sus afirmaciones. Y si ya te dio fuentes, pídele que verifique que esas fuentes realmente respaldan lo que está diciendo. Intenta decirle a la IA de antemano: "Está bien si no lo sabes". Y si no estás seguro de una respuesta, pregúntale a la IA qué tan segura está, y si algo podría estar mal. A menudo la IA sabe que está equivocada, pero solo quería sonar segura.
Si tienes una respuesta de la que no estás seguro, inicia un chat nuevo y pídele a la IA que encuentre errores en la respuesta, y que confirme que las fuentes respaldan las afirmaciones. Para trabajo crítico, deberías contrastar con fuentes confiables. Sé escéptico y verifica dos veces los números, fechas y citas específicas. Si algo suena raro, haz preguntas de seguimiento.
Reducir las alucinaciones es un objetivo importante para hacer que las IAs sean más confiables y útiles para todos. Seguiremos compartiendo nuestro progreso en esta área en nuestro blog. Puedes aprender sobre otras herramientas y marcos de trabajo para trabajar con IA en la Anthropic Academy.
Más información: Cómo funciona la IA(se abre en una pestaña nueva)