Cargando

Introducción a la Generación Aumentada por Recuperación

Lección 333 min
Cargando

La Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) es una técnica que te ayuda a trabajar con documentos grandes al dividirlos en fragmentos más pequeños y proporcionarle a Claude únicamente los fragmentos más relevantes para cada pregunta. En lugar de abrumar al modelo con un informe financiero completo de 800 páginas, RAG te permite extraer solo las secciones que importan para responder consultas específicas.

El problema con los documentos grandes

Cuando tienes un documento masivo y quieres hacerle a Claude preguntas específicas sobre él, te enfrentas a un desafío fundamental: ¿cómo logras que Claude reciba la información correcta sin alcanzar límites o degradar el rendimiento?

Un informe financiero privado de más de 800 páginas con secciones como Resumen Ejecutivo, Factores de Riesgo y Perspectivas Futuras.

Considera preguntar "¿Qué factores de riesgo tiene esta empresa?" sobre un extenso documento financiero. El documento contiene la respuesta, pero Claude necesita acceso al contenido relevante para poder ayudarte.

Opción 1: Incluir todo en el prompt

El enfoque más directo consiste en extraer todo el texto del documento y meterlo en un solo prompt:

Prompt que dice "Responde la pregunta del usuario sobre el documento financiero." con todo el informe dentro de etiquetas financial_document.

Este método tiene limitaciones serias:

  • Los límites estrictos de tokens implican que los documentos muy largos simplemente no caben
  • Claude se vuelve menos efectivo con prompts extremadamente largos
  • Los prompts más grandes cuestan más dinero y tardan más en procesarse
  • El rendimiento se degrada cuando hay demasiada información para revisar

Opción 2: Dividir los documentos en fragmentos

RAG adopta un enfoque más inteligente al preprocesar los documentos en piezas manejables y luego recuperar solo los fragmentos relevantes para cada pregunta.

El informe financiero dividido en seis fragmentos como "Informe del Auditor", "Indicadores Clave de Desempeño" y "Datos de Mercado".

Así es como funciona:

  1. Dividir el documento en fragmentos más pequeños (Perspectivas Estratégicas, Factores de Riesgo, Balance General, etc.)
  2. Cuando un usuario hace una pregunta, analizar qué está buscando
  3. Encontrar los fragmentos más relevantes para su pregunta
  4. Incluir solo esos fragmentos relevantes en el prompt para Claude

La pregunta del usuario y solo los fragmentos relevantes de los seis van dentro de un prompt con etiquetas user_question y financial_document.

Para una pregunta sobre los riesgos de la empresa, el sistema identificaría y recuperaría el fragmento de "Factores de Riesgo", dándole a Claude un contexto enfocado y relevante en lugar de todo el documento.

Beneficios de RAG

  • Claude puede concentrarse únicamente en el contenido más relevante
  • Escala a documentos muy grandes y a múltiples documentos
  • Funciona en colecciones de documentos, no solo en archivos individuales
  • Prompts más pequeños significan un procesamiento más rápido y costos más bajos

Desafíos con RAG

RAG introduce complejidad que necesitas gestionar:

  • Requiere un paso de preprocesamiento para fragmentar los documentos
  • Se necesita un mecanismo de búsqueda para encontrar los fragmentos relevantes
  • Los fragmentos recuperados podrían no contener todo el contexto necesario
  • Hay muchas formas diferentes de fragmentar texto: ¿cuál enfoque funciona mejor?

Puedes fragmentar documentos en porciones iguales, por encabezados y secciones, por significado semántico u otras estrategias. Cada enfoque tiene compensaciones que deberás evaluar para tu caso de uso específico.

Cuándo usar RAG

RAG brilla cuando trabajas con documentos grandes o colecciones de documentos donde los usuarios hacen preguntas específicas que solo requieren porciones del contenido. La complejidad del preprocesamiento vale la pena cuando necesitas escalar más allá de lo que cabe en un solo prompt, cuando quieres respuestas más rápidas o cuando estás gestionando costos a través de muchas consultas.

La clave está en analizar si la sobrecarga técnica de implementar fragmentación, búsqueda y recuperación tiene sentido para tu aplicación en particular. A veces el enfoque simple de "meter todo en un prompt" funciona bien; otras veces, RAG se vuelve esencial para hacer que tu sistema sea práctico y eficiente.