Cargando
Cargando

Al trabajar con Claude, escribir un buen prompt es solo el comienzo. Para construir aplicaciones de IA confiables, necesitas entender dos conceptos críticos: la ingeniería de prompts y la evaluación de prompts. La ingeniería de prompts te da técnicas para escribir mejores prompts, mientras que la evaluación de prompts te ayuda a medir qué tan bien funcionan realmente esos prompts.

Mejorando y evaluando prompts: definiciones lado a lado de la ingeniería de prompts y la evaluación de prompts, descritas a continuación.

Ingeniería de prompts vs. evaluación de prompts

La ingeniería de prompts es tu conjunto de herramientas para crear prompts efectivos. Incluye técnicas como:

  • Prompts multishot
  • Estructuración con etiquetas XML
  • Muchas otras mejores prácticas

Estas técnicas ayudan a Claude a entender exactamente lo que le estás pidiendo y cómo quieres que responda.

La evaluación de prompts adopta un enfoque diferente. En lugar de enfocarse en cómo escribir prompts, se trata de medir su efectividad mediante pruebas automatizadas. Puedes:

  • Probar contra respuestas esperadas
  • Comparar diferentes versiones del mismo prompt
  • Revisar las salidas en busca de errores

Tres caminos después de escribir un prompt

Una vez que has redactado un prompt, normalmente te enfrentas a tres opciones sobre qué hacer a continuación:

Diagrama que se ramifica desde la redacción de un prompt hacia las tres opciones y sus compensaciones, descritas a continuación.

Opción 1: Prueba el prompt una vez y decide que es suficientemente bueno. Esto conlleva un riesgo significativo de fallar en producción cuando los usuarios proporcionen entradas inesperadas.

Opción 2: Prueba el prompt unas cuantas veces y ajústalo para manejar uno o dos casos extremos. Aunque es mejor que la opción 1, los usuarios a menudo proporcionarán salidas muy inesperadas que no has considerado.

Opción 3: Ejecuta el prompt a través de un pipeline de evaluación para puntuarlo, luego itera sobre el prompt basándote en métricas objetivas. Este enfoque requiere más trabajo y costo, pero te da mucha más confianza en la confiabilidad de tu prompt.

Por qué la mayoría de los ingenieros caen en trampas de pruebas

Las opciones 1 y 2 son trampas comunes en las que caen todos los ingenieros, yo incluido. Es natural escribir un prompt para una aplicación seria y no probarlo lo suficientemente a fondo. Tendemos a subestimar cuántos casos extremos encontrarán los usuarios reales.

La realidad es que cuando despliegas un prompt a producción, los usuarios interactuarán con él de maneras que nunca anticipaste. Lo que parecía un prompt sólido durante tus pruebas limitadas puede fallar rápidamente al enfrentarse a toda la variedad de entradas del mundo real.

El enfoque de evaluación primero

La opción 3 representa un enfoque más sistemático para el desarrollo de prompts. Al ejecutar tu prompt a través de un pipeline de evaluación, obtienes métricas objetivas sobre su rendimiento en una gama más amplia de casos de prueba. Este enfoque basado en datos te permite:

  • Identificar debilidades antes de que se conviertan en problemas de producción
  • Comparar diferentes versiones de prompts de forma objetiva
  • Iterar con confianza basándote en mejoras medibles
  • Construir aplicaciones de IA más confiables

Si bien este enfoque requiere más inversión inicial en tiempo e infraestructura de pruebas, rinde frutos en la confiabilidad y robustez de tu aplicación final. El objetivo es detectar problemas durante el desarrollo en lugar de después de que tus usuarios los encuentren.