La Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) es una técnica que te ayuda a trabajar con documentos grandes que son demasiado extensos para caber en un solo prompt. En lugar de meter todo en un prompt masivo, RAG divide los documentos en fragmentos y solo incluye las piezas más relevantes al responder preguntas.
El problema con los documentos grandes
Imagina que tienes un documento financiero de 800 páginas y quieres hacerle a Claude preguntas específicas sobre él, como "¿Qué factores de riesgo tiene esta empresa?". Necesitas hacer llegar a Claude de alguna manera la información relevante del documento, pero hay límites en cuánto texto puedes incluir en un prompt.

Opción 1: Incluir todo en el prompt
El primer enfoque es sencillo: extraer todo el texto del documento y meterlo en tu prompt junto con la pregunta del usuario. Tu prompt podría verse así:
Answer the user's question about the financial document.
<user_question>
{user_question}
</user_question>
<financial_document>
{financial_document}
</financial_document>
Este enfoque tiene limitaciones importantes:
- Hay un límite estricto en la longitud del prompt: tu documento podría ser demasiado largo
- Claude se vuelve menos eficaz con prompts muy largos
- Los prompts más grandes cuestan más procesarlos
- Los prompts más grandes tardan más en procesarse
Opción 2: Dividir los documentos en fragmentos
RAG adopta un enfoque más inteligente. Primero, divides el documento en fragmentos más pequeños durante un paso de preprocesamiento. Luego, cuando un usuario hace una pregunta, buscas los fragmentos más relevantes para esa pregunta e incluyes solo esos en tu prompt.

Así es como funciona: si alguien pregunta "¿Qué riesgos enfrenta esta empresa?", buscarías entre tus fragmentos, encontrarías la sección "Factores de Riesgo" e incluirías solo ese fragmento relevante en tu prompt.

Beneficios de RAG
- Claude puede centrarse solo en el contenido más relevante
- Escala a documentos muy grandes
- Funciona con múltiples documentos
- Los prompts más pequeños cuestan menos y se ejecutan más rápido
Desafíos con RAG
- Requiere un paso de preprocesamiento para fragmentar documentos
- Se necesita un mecanismo de búsqueda para encontrar fragmentos "relevantes"
- Los fragmentos incluidos podrían no contener todo el contexto que Claude necesita
- Hay muchas formas de fragmentar texto: ¿cuál enfoque es mejor?
Por ejemplo, podrías dividir los documentos en porciones de igual tamaño, o podrías crear fragmentos basándote en la estructura del documento, como encabezados y secciones. Cada enfoque tiene compensaciones que deberás evaluar para tu caso de uso específico.
Cuándo usar RAG
RAG implica muchas decisiones técnicas y requiere más trabajo que simplemente incluir todo en un prompt. Deberás analizar si los beneficios superan la complejidad para tu aplicación particular. Es especialmente valioso cuando trabajas con documentos muy grandes, múltiples documentos, o cuando necesitas optimizar el costo y el rendimiento.
La idea clave es que RAG intercambia simplicidad por escalabilidad y eficiencia. Aunque requiere más trabajo inicial para implementarse correctamente, te permite trabajar con colecciones de documentos que serían imposibles de manejar simplemente metiendo todo en el prompt.