Cargando

El flujo completo de RAG

Lección 376 min
Cargando

Ahora que hemos cubierto los fundamentos de RAG, la fragmentación de texto y los embeddings, repasemos el pipeline completo de RAG paso a paso. Este ejemplo detallado te mostrará exactamente cómo encajan todas las piezas en una implementación real.

Paso 1: Fragmenta tu texto de origen

Primero, tomamos nuestro documento de origen y lo dividimos en fragmentos manejables. Para este ejemplo, usaremos dos secciones de texto sencillas:

  • Sección 1: Investigación Médica - "Este año vimos avances significativos en nuestra comprensión del XDR-47, un 'bicho' que no habíamos visto antes."
  • Sección 2: Ingeniería de Software - "Esta división dedicó un esfuerzo significativo a estudiar varios vectores de infección en nuestros sistemas distribuidos"

Paso 2: Genera embeddings

A continuación, convertimos cada fragmento de texto en embeddings numéricos. Para que esto sea más fácil de entender, imaginemos que tenemos un modelo de embedding perfecto que siempre devuelve exactamente dos números, y sabemos qué representa cada número:

Dos fragmentos de texto pasan por un modelo de embedding imaginario, con flechas que marcan los números de medicina e ingeniería de software.

En nuestro modelo imaginario:

  • Primer número: Cuánto habla el texto de medicina
  • Segundo número: Cuánto habla el texto de ingeniería de software

Así que nuestra sección de investigación médica obtiene [0.97, 0.34] - muy médica, algo relacionada con software debido a la palabra "bicho" (en inglés "bug"). La sección de ingeniería de software obtiene [0.30, 0.97] - muy centrada en software, pero "vectores de infección" tiene connotaciones médicas.

Normalización

Antes de almacenar estos embeddings, pasan por un proceso de normalización que escala cada vector para que tenga una magnitud de 1.0. Esto normalmente lo maneja automáticamente tu API de embeddings, pero es importante entender que ocurre.

Círculo unitario con ejes de medicina y software y flechas de longitud 1.0 hacia Investigación Médica e Ingeniería de Software.

Después de la normalización, nuestros embeddings se convierten en [0.944, 0.331] y [0.295, 0.955]. Podemos visualizar esto en un círculo unitario donde ambos puntos están exactamente en el borde del círculo.

El embedding de Investigación Médica "0.944, 0.331" y el embedding de Ingeniería de Software "0.295, 0.955" alimentan una base de datos vectorial.

Paso 3: Almacena en una base de datos vectorial

Los embeddings normalizados se almacenan en una base de datos vectorial - una base de datos especializada optimizada para almacenar, comparar y buscar a través de largas listas de números como nuestros embeddings.

La pregunta del usuario, representada por el modelo de embedding imaginario como 0.1 para el campo médico y 0.89 para ingeniería de software.

En este punto, nos detenemos. Todo el trabajo hecho hasta ahora es preprocesamiento que ocurre por adelantado. Ahora esperamos a que un usuario envíe una consulta.

Paso 4: Procesa la consulta del usuario

Cuando un usuario hace una pregunta como "Tengo curiosidad sobre la empresa. En particular, ¿qué hizo el departamento de ingeniería de software este año?", pasamos su consulta por el mismo modelo de embedding.

Etapa de embedding de la consulta del usuario, con el embedding de la consulta anotado "Algo relacionado con medicina, pero centrado en software".

Esta consulta se representa como [0.1, 0.89] - puntuación médica baja, puntuación alta en ingeniería de software. Después de la normalización, se convierte en [0.112, 0.993].

Paso 5: Encuentra embeddings similares

Ahora le preguntamos a la base de datos vectorial: "Encuentra el embedding almacenado más cercano a este embedding de la consulta del usuario". La base de datos devuelve la sección de ingeniería de software porque es la más similar.

Círculo unitario de medicina versus software: el vector de la consulta del usuario está junto a Ingeniería de Software, lejos de Investigación Médica.

Pero, ¿cómo determina la base de datos "más cercano"? Usa la similitud del coseno.

Similitud del coseno

La base de datos vectorial calcula el coseno del ángulo entre vectores para medir la similitud. Esto nos da un número entre -1 y 1:

Diapositiva de similitud del coseno donde el vector de la consulta del usuario obtiene 0.983 con Ingeniería de Software y 0.398 con Investigación Médica.

  • 1.0 = los vectores apuntan exactamente en la misma dirección (muy similares)
  • 0.0 = los vectores son perpendiculares (sin relación)
  • -1.0 = los vectores apuntan en direcciones opuestas (muy diferentes)

En nuestro ejemplo:

  • Consulta del usuario vs Ingeniería de Software: similitud del coseno = 0.983 (¡muy similar!)
  • Consulta del usuario vs Investigación Médica: similitud del coseno = 0.398 (menos similar)

Distancia del coseno

A menudo verás "distancia del coseno" en la documentación de bases de datos vectoriales. Esto es simplemente 1 - similitud del coseno, lo que invierte la escala de modo que números más pequeños significan mayor similitud:

  • 0.0 = muy similar
  • 1.0 = perpendicular
  • 2.0 = completamente opuesto

Paso 6: Construye el prompt final

Finalmente, tomamos la pregunta del usuario y el fragmento de texto más relevante (la sección de ingeniería de software) y los combinamos en un prompt para Claude:

La pregunta "¿Cuántos errores corrigieron los ingenieros este año?" y el fragmento de ingeniería de software alimentando el prompt para Claude.

Answer the user's question about the financial document.

<user_question>
How many bugs did engineers fix this year?
</user_question>

<report>
## Section 2: Software Engineering
This division dedicated significant effort to studying various infection vectors in our distributed systems
</report>

¡Y ese es el pipeline completo de RAG! El sistema encontró con éxito el contexto más relevante para la pregunta del usuario sobre ingeniería de software y lo proporcionó a Claude para generar una respuesta informada.

Este proceso ocurre automáticamente cada vez que un usuario envía una consulta, permitiendo que Claude responda preguntas basándose en tus documentos específicos en lugar de solo en su conocimiento general de entrenamiento.