Cargando

El flujo completo de RAG

Lección 364 min
Cargando

Ahora que hemos cubierto los fundamentos de RAG, la fragmentación de texto y los embeddings, repasemos paso a paso el pipeline completo de RAG. Este ejemplo detallado te mostrará exactamente cómo encajan todas las piezas en una implementación real.

Paso 1: Fragmenta tu texto fuente

Primero, tomamos nuestro documento fuente y lo dividimos en fragmentos manejables. Para este ejemplo, usaremos dos secciones de texto simples:

  • Sección 1: Investigación médica - "Este año vimos avances significativos en nuestra comprensión del XDR-47, un 'bicho' que no habíamos visto antes."
  • Sección 2: Ingeniería de software - "Esta división dedicó un esfuerzo significativo a estudiar varios vectores de infección en nuestros sistemas distribuidos"

Paso 2: Genera embeddings

A continuación, convertimos cada fragmento de texto en embeddings numéricos. Para dejar claro este concepto, imaginemos que tenemos un modelo de embeddings perfecto que siempre devuelve exactamente dos números, y sabemos qué representa cada número:

Dos fragmentos de texto pasan por un modelo de embeddings imaginario, con flechas que marcan los números médicos y de ingeniería de software.

En nuestro modelo imaginario:

  • Primer número: cuánto habla el texto del campo médico
  • Segundo número: cuánto habla el texto de ingeniería de software

Así, nuestra sección de investigación médica obtiene un embedding de [0.97, 0.34] - muy médico, algo relacionado con software debido a la palabra "bicho". La sección de ingeniería de software obtiene [0.30, 0.97] - muy enfocada en software, pero "vectores de infección" tiene connotaciones médicas.

Normalización

Antes de almacenar estos embeddings, pasan por un proceso de normalización que escala cada vector para que tenga una magnitud de 1.0. Esto normalmente lo maneja de forma automática tu API de embeddings, pero es importante entender que esto ocurre.

Los embeddings médicos y de software escalados para que cada par tenga magnitud 1.0, dando los valores normalizados a continuación.

Después de la normalización, nuestros embeddings se convierten en [0.944, 0.331] y [0.295, 0.955]. Podemos visualizarlos en un círculo unitario donde cada punto se ubica exactamente en el borde del círculo.

Círculo unitario con ejes de medicina y software y flechas de longitud 1.0 hacia Investigación médica e Ingeniería de software.

Paso 3: Almacena en una base de datos vectorial

Los embeddings normalizados se almacenan en una base de datos vectorial - una base de datos especializada optimizada para almacenar, comparar y buscar dentro de largas listas de números como nuestros embeddings.

El embedding de Investigación médica "0.944, 0.331" y el embedding de Ingeniería de software "0.295, 0.955" alimentan una base de datos vectorial.

En este punto, hacemos una pausa. Todo el trabajo hasta ahora ha sido preprocesamiento que ocurre por adelantado. Ahora esperamos a que un usuario envíe una consulta.

Paso 4: Procesa la consulta del usuario

Cuando un usuario hace una pregunta como "Tengo curiosidad sobre la empresa. En particular, ¿qué hizo el departamento de ingeniería de software este año?", pasamos su consulta por el mismo modelo de embeddings.

La pregunta del usuario convertida en embedding por el modelo de embeddings imaginario como 0.1 para el campo médico y 0.89 para ingeniería de software.

Esta consulta se convierte en el embedding [0.1, 0.89] - puntuación médica baja, puntuación alta en ingeniería de software. Después de la normalización, se convierte en [0.112, 0.993].

Paso 5: Encuentra embeddings similares

Ahora le preguntamos a la base de datos vectorial: "Encuentra el embedding almacenado que esté más cerca de este embedding de la consulta del usuario." La base de datos devuelve la sección de ingeniería de software porque es la más similar.

El vector de la consulta del usuario "0.1, 0.89" va a la base de datos vectorial, que devuelve "0.295, 0.955" para la sección de ingeniería de software.

Cómo funciona la similitud: similitud coseno

La base de datos vectorial usa la similitud coseno para determinar qué embeddings son más similares. Esto mide el coseno del ángulo entre dos vectores.

Diapositiva de similitud coseno donde el vector de la consulta del usuario obtiene 0.983 con Ingeniería de software y 0.398 con Investigación médica.

Puntos clave sobre la similitud coseno:

  • Los resultados van de -1 a 1
  • Los valores cercanos a 1 significan muy similar
  • Los valores cercanos a 0 significan perpendicular (no relacionado)
  • Los valores cercanos a -1 significan completamente opuesto

El cálculo usa la fórmula del producto punto: cos(a) = (A · B) / (||A|| · ||B||)

Diapositiva de similitud coseno donde el vector de la consulta del usuario obtiene 0.983 con Ingeniería de software y 0.398 con Investigación médica.

En nuestro ejemplo, la consulta del usuario tiene una similitud coseno de 0.983 con el fragmento de ingeniería de software y solo 0.398 con el fragmento de investigación médica. El fragmento de ingeniería de software es claramente la mejor coincidencia.

Distancia coseno

A menudo verás "distancia coseno" en la documentación de bases de datos vectoriales. Esto es simplemente 1 - similitud coseno, lo que nos da un número más fácil de interpretar donde:

  • Los valores cercanos a 0 significan alta similitud
  • Los valores más grandes significan menos similitud

Paso 6: Construye el prompt final

Finalmente, tomamos la pregunta del usuario y el fragmento de texto más relevante que encontramos, y los combinamos en un prompt para Claude:

La pregunta "¿Cuántos bichos corrigieron los ingenieros este año?" y el fragmento de ingeniería de software alimentando el prompt para Claude.

El prompt incluye tanto la pregunta del usuario como el contexto relevante de nuestro documento, lo que permite a Claude proporcionar una respuesta informada basada en la información específica de nuestra base de conocimiento.

El flujo completo

Ese es el pipeline completo de RAG de principio a fin:

  1. Fragmentar los documentos fuente
  2. Generar embeddings para cada fragmento
  3. Almacenar los embeddings en una base de datos vectorial
  4. Cuando un usuario hace una pregunta, convertir su consulta en embedding
  5. Encontrar los embeddings almacenados más similares usando similitud coseno
  6. Añadir los fragmentos relevantes a un prompt junto con la pregunta del usuario
  7. Enviar el prompt mejorado a Claude para obtener una respuesta

Entender este proceso y las matemáticas detrás de él te ayudará a trabajar de manera efectiva con bases de datos vectoriales y a depurar problemas cuando tu sistema RAG no esté devolviendo los resultados que esperas.