Cargando

Introducción a la Generación Aumentada por Recuperación

Lección 325 min
Cargando

La Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) es una técnica que te ayuda a trabajar con documentos grandes que son demasiado extensos para caber en un solo prompt. En lugar de meter todo en un prompt masivo, RAG divide los documentos en fragmentos y solo incluye las piezas más relevantes al responder preguntas.

El problema con los documentos grandes

Imagina que tienes un documento financiero de 800 páginas y quieres hacerle a Claude preguntas específicas sobre él, como "¿Qué factores de riesgo tiene esta empresa?". Necesitas hacer llegar a Claude de alguna manera la información relevante del documento, pero hay límites en cuánto texto puedes incluir en un prompt.

El documento es privado, así que Claude no tiene idea de lo que contiene, con secciones como Resumen Ejecutivo y Factores de Riesgo.

Opción 1: Incluir todo en el prompt

El primer enfoque es sencillo: extraer todo el texto del documento y meterlo en tu prompt junto con la pregunta del usuario. Tu prompt podría verse así:

Answer the user's question about the financial document.

<user_question>
{user_question}
</user_question>

<financial_document>
{financial_document}
</financial_document>

El informe financiero completo introducido en el prompt anterior, titulado "Posiblemente no sea la mejor solución", con las limitaciones enumeradas a continuación.

Este enfoque tiene limitaciones importantes:

  • Hay un límite estricto en la longitud del prompt: tu documento podría ser demasiado largo
  • Claude se vuelve menos eficaz con prompts muy largos
  • Los prompts más grandes cuestan más procesarlos
  • Los prompts más grandes tardan más en procesarse

Opción 2: Dividir los documentos en fragmentos

RAG adopta un enfoque más inteligente. Primero, divides el documento en fragmentos más pequeños durante un paso de preprocesamiento. Luego, cuando un usuario hace una pregunta, buscas los fragmentos más relevantes para esa pregunta e incluyes solo esos en tu prompt.

Informe financiero dividido en seis fragmentos de texto, como Perspectiva Estratégica, Balance General e Informe del Auditor.

Así es como funciona: si alguien pregunta "¿Qué riesgos enfrenta esta empresa?", buscarías entre tus fragmentos, encontrarías la sección "Factores de Riesgo" e incluirías solo ese fragmento relevante en tu prompt.

Seis fragmentos como Perspectiva Estratégica, Balance General y Datos de Mercado, con la pregunta del usuario y un fragmento introducidos en el prompt.

Beneficios de RAG

  • Claude puede centrarse solo en el contenido más relevante
  • Escala a documentos muy grandes
  • Funciona con múltiples documentos
  • Los prompts más pequeños cuestan menos y se ejecutan más rápido

Desafíos con RAG

  • Requiere un paso de preprocesamiento para fragmentar documentos
  • Se necesita un mecanismo de búsqueda para encontrar fragmentos "relevantes"
  • Los fragmentos incluidos podrían no contener todo el contexto que Claude necesita
  • Hay muchas formas de fragmentar texto: ¿cuál enfoque es mejor?

Por ejemplo, podrías dividir los documentos en porciones de igual tamaño, o podrías crear fragmentos basándote en la estructura del documento, como encabezados y secciones. Cada enfoque tiene compensaciones que deberás evaluar para tu caso de uso específico.

Cuándo usar RAG

RAG implica muchas decisiones técnicas y requiere más trabajo que simplemente incluir todo en un prompt. Deberás analizar si los beneficios superan la complejidad para tu aplicación particular. Es especialmente valioso cuando trabajas con documentos muy grandes, múltiples documentos, o cuando necesitas optimizar el costo y el rendimiento.

La idea clave es que RAG intercambia simplicidad por escalabilidad y eficiencia. Aunque requiere más trabajo inicial para implementarse correctamente, te permite trabajar con colecciones de documentos que serían imposibles de manejar simplemente metiendo todo en el prompt.