¿Qué es la adulación en los modelos de IA? · 6 min
¡Hola! Me llamo Kira, y formo parte del equipo de salvaguardas en Anthropic. Tengo un doctorado en salud mental, específicamente en epidemiología psiquiátrica, y en Anthropic trabajo en mitigar riesgos relacionados con el bienestar de los usuarios. Lo que eso significa es que pensamos mucho en cómo mantener seguros a los usuarios de Claude. Hoy estoy aquí para hablarte sobre la adulación.
La adulación es cuando alguien te dice lo que cree que quieres escuchar, en lugar de lo que es verdadero, preciso o genuinamente útil. Las personas lo hacen para evitar conflictos, ganar favores y por muchas otras razones. Pero la adulación también puede manifestarse en los modelos de IA. A veces, los modelos de IA pueden optimizar las respuestas a una indicación o conversación para obtener la aprobación humana inmediata. Esto puede verse como una IA que está de acuerdo con un error factual que cometiste, que cambia su respuesta según cómo hayas formulado una pregunta, o que adapta su respuesta para coincidir con tus preferencias.
En este video, hablaremos sobre por qué ocurre la adulación en los modelos, y por qué es un problema difícil de resolver para los investigadores. Además, cubriremos estrategias para identificar y combatir el comportamiento adulador al trabajar con IA.
Antes de comenzar, déjame mostrarte un ejemplo de adulación en una interacción con IA. Este es Claude, el propio modelo de Anthropic. Probemos con: "Oye, escribí este gran ensayo que me tiene muy emocionado." "¿Puedes evaluarlo y darme tu opinión?" Mi solicitud principal aquí es obtener retroalimentación sobre mi ensayo. Sin embargo, debido a que compartí lo emocionado que me siento al respecto, esto podría llevar a la IA a responder con validación o apoyo en lugar de una crítica. Esta validación podría hacerme pensar que mi ensayo realmente es excelente, incluso si no lo es.
Podrías pensar: "¿Y qué?" "La gente puede simplemente preguntarle a otras personas, verificar los hechos o hacer mejores preguntas." Pero esto importa por varias razones. Cuando estás tratando de ser productivo, escribiendo una presentación, haciendo una lluvia de ideas o mejorando tu trabajo, necesitas retroalimentación honesta de la herramienta de IA que estás usando. Si le preguntas a una IA: "¿Cómo puedo mejorar este correo electrónico?" Y responde: "Ya es perfecto," en lugar de sugerir una redacción más clara o una mejor estructura, eso puede ser frustrante. En algunos casos, la adulación también podría desempeñar un papel en reforzar patrones de pensamiento dañinos. Si alguien le pide a una IA que confirme una teoría de conspiración desconectada de la realidad, eso podría profundizar sus creencias falsas y alejarlo aún más de los hechos.
Comencemos por el porqué de esto. Todo se reduce a cómo se entrenan los modelos de IA. Los modelos de IA aprenden de ejemplos, muchísimos ejemplos de texto humano. Durante este entrenamiento, adquieren todo tipo de patrones de comunicación, desde directos y contundentes, hasta cálidos y complacientes. Cuando entrenamos a los modelos para que sean útiles e imiten un comportamiento cálido, amigable o de apoyo en el tono, la adulación tiende a aparecer como una parte no intencionada de ese paquete. A medida que los modelos se integran más en todas nuestras vidas, es importante ahora más que nunca entender y prevenir este comportamiento.
Esto es lo que hace que la adulación sea complicada. En realidad queremos que los modelos de IA se adapten a tus necesidades, solo que no cuando se trata de hechos o bienestar. Si le pides a una IA que escriba algo en un tono casual, debería hacerlo, no insistir en un lenguaje formal. Si dices: "Prefiero respuestas concisas," debería respetar eso como una preferencia. Si estás aprendiendo un tema y pides explicaciones a nivel principiante, debería encontrarse contigo donde estás. El desafío es encontrar el equilibrio correcto. Nadie quiere usar una IA que sea constantemente contradictoria o combativa, debatiendo contigo en cada tarea. Pero tampoco queremos que el modelo siempre recurra al acuerdo o al elogio cuando necesitas retroalimentación honesta.
Incluso los humanos luchan con esto. ¿Cuándo deberías estar de acuerdo para mantener la paz, versus hablar sobre algo importante? Ahora imagina a una IA tomando esa decisión cientos de veces en temas radicalmente diferentes, sin comprender verdaderamente el contexto como lo hacemos nosotros. Por eso seguimos estudiando cómo se manifiesta la adulación en las conversaciones y desarrollando mejores formas de evaluarla. Nos enfocamos en enseñarles a los modelos la diferencia entre la adaptación útil y el acuerdo dañino. Cada modelo de Claude que lanzamos mejora en trazar estas líneas.
Aunque el mayor progreso en combatir la adulación vendrá del entrenamiento constante de los propios modelos, es útil entender la adulación para que puedas detectarla en tus propias interacciones. Ahora que sabes qué es la adulación y por qué ocurre, el segundo paso es reflexionar sobre cuándo y por qué una IA podría estar de acuerdo contigo, y cuestionar si debería hacerlo. Es más probable que la adulación aparezca cuando se presenta una verdad subjetiva como un hecho, se hace referencia a una fuente experta, las preguntas se formulan con un punto de vista específico, se solicita validación de manera explícita, se invocan cuestiones emocionales, o una conversación se vuelve muy larga.
Si sospechas que estás recibiendo respuestas aduladoras, hay algunas cosas que puedes hacer para guiar a la IA de vuelta hacia respuestas factuales. Estas no son infalibles, pero ayudarán a ampliar los horizontes de la IA. Puedes usar un lenguaje neutral y orientado a los hechos, contrastar la información con fuentes confiables, pedir precisión o contraargumentos, reformular las preguntas, iniciar una nueva conversación o, finalmente, tomar distancia del uso de la IA y preguntarle a alguien en quien confíes.
Pero este es un desafío continuo para todo el campo del desarrollo de la IA. A medida que estos sistemas se vuelven más sofisticados y se integran más en nuestras vidas, construir modelos que sean genuinamente útiles, no solo complacientes, se vuelve cada vez más importante. Puedes aprender más sobre AI Fluency en Anthropic Academy, y mi equipo y yo seguiremos compartiendo nuestra investigación sobre este tema en el blog de Anthropic.
Obtén más información: Cómo funciona la IA(se abre en una pestaña nueva)