Cargando

Estrategias de fragmentación de texto

Lección 3410 min
Cargando

La fragmentación de texto es uno de los pasos más críticos al construir un pipeline de RAG (Generación Aumentada por Recuperación). La forma en que divides tus documentos impacta directamente la calidad de todo tu sistema. Una mala estrategia de fragmentación puede hacer que se inserte contexto irrelevante en tus prompts, provocando que tu IA dé respuestas completamente incorrectas.

Un documento fuente, un informe financiero anual, con una flecha hacia seis cajas etiquetadas "Fragmento #1" hasta "Fragmento #6".

Considera este ejemplo: tienes un documento con secciones sobre investigación médica e ingeniería de software. Si fragmentas mal, un usuario que pregunte "¿Cuántos bugs corrigieron los ingenieros este año?" podría recibir información sobre investigación médica en lugar de ingeniería de software, simplemente porque la sección médica contenía la palabra "bug" en un contexto diferente.

Fragmentos de salida donde la sección de investigación médica habla de un "bug" y la sección de ingeniería de software habla de "vectores de infección".

Esto demuestra por qué la estrategia de fragmentación importa tanto. El objetivo es crear fragmentos que mantengan coherencia semántica y proporcionen contexto útil cuando se recuperen.

La pregunta del usuario y un fragmento del documento que llama a XDR-47 un "bug" entran en las etiquetas user_question y report del prompt.

Tres estrategias principales de fragmentación

La basada en tamaño agrega superposición para dar contexto, la basada en estructura necesita una estructura conocida, la basada en semántica es costosa pero más relevante.

Existen tres enfoques principales para dividir texto en fragmentos:

  • Basada en tamaño: Divide el texto en cadenas de igual longitud
  • Basada en estructura: Divide según la estructura del documento (encabezados, párrafos, secciones)
  • Basada en semántica: Agrupa oraciones o secciones relacionadas usando técnicas de PLN

Fragmentación basada en tamaño

La fragmentación basada en tamaño es el enfoque más sencillo. Simplemente divides tu documento en fragmentos de un número aproximadamente igual de caracteres o palabras. Es fácil de implementar y funciona de manera confiable en distintos tipos de documentos.

Un documento de 325 caracteres dividido en 3 fragmentos de aproximadamente 108 caracteres, cortando palabras por la mitad, como "signific" y luego "ativos".

Sin embargo, este enfoque tiene desventajas claras:

  • Las palabras quedan cortadas a la mitad de la oración
  • Los fragmentos pierden contexto importante del texto circundante
  • El contenido relacionado podría quedar dividido entre múltiples fragmentos

Tres fragmentos basados en tamaño cortados a mitad de palabra: "signific" termina el primero, "ativos avances" comienza el segundo, y "o" comienza el tercero.

Agregando superposición

Para abordar el problema del contexto, puedes implementar una estrategia de superposición. Cada fragmento incluye algunos caracteres de los fragmentos vecinos, proporcionando contexto adicional y asegurando que la información importante no se pierda en los límites de los fragmentos.

La superposición amplía un fragmento en el documento fuente para que el fragmento de salida conserve los encabezados completos de la Sección 1 y la Sección 2.

Aunque esto crea cierta duplicación, generalmente vale la pena el intercambio por el mejor contexto que recibe cada fragmento.

Fragmentación basada en estructura

Cuando tus documentos tienen un formato consistente (como markdown con encabezados claros), la fragmentación basada en estructura puede producir excelentes resultados. Divides según elementos estructurales como los encabezados, creando fragmentos que se alinean con la organización natural del documento.

Documento fuente dividido en sus encabezados de markdown en tres fragmentos: una línea de apertura, Investigación Médica e Ingeniería de Software.

Esto funciona maravillosamente para documentos bien formateados, pero requiere garantías sobre la estructura del documento. No funcionará de manera confiable con archivos de texto plano o documentos formateados de forma inconsistente.

Ejemplos de implementación

Aquí hay tres funciones prácticas de fragmentación que puedes implementar:

Fragmentación basada en caracteres

python
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
    chunks = []
    start_idx = 0
    
    while start_idx < len(text):
        end_idx = min(start_idx + chunk_size, len(text))
        chunk_text = text[start_idx:end_idx]
        chunks.append(chunk_text)
        
        start_idx = (
            end_idx - chunk_overlap if end_idx < len(text) else len(text)
        )
    
    return chunks

Fragmentación basada en oraciones

python
import re

def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
    sentences = re.split(r"(?<=[.!?])\s+", text)
    chunks = []
    start_idx = 0
    
    while start_idx < len(sentences):
        end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
        current_chunk = sentences[start_idx:end_idx]
        chunks.append(" ".join(current_chunk))
        
        start_idx += max_sentences_per_chunk - overlap_sentences
        
        if start_idx < 0:
            start_idx = 0
    
    return chunks

Fragmentación basada en secciones

python
def chunk_by_section(document_text):
    pattern = r"\n## "
    return re.split(pattern, document_text)

Elegir la estrategia correcta

Tu elección de estrategia de fragmentación depende por completo de tu caso de uso específico:

  • Basada en caracteres: La alternativa más confiable, funciona con cualquier tipo de documento
  • Basada en oraciones: Buen equilibrio entre contexto y significado para prosa
  • Basada en secciones: Excelentes resultados cuando tienes documentos estructurados

Para documentos subidos por usuarios sin garantías de formato, la fragmentación basada en caracteres suele ser tu opción más segura. Para documentos internos bien estructurados, la fragmentación basada en secciones puede ofrecer resultados superiores. La fragmentación basada en oraciones funciona bien para la mayoría de la prosa, pero puede tener dificultades con código o documentos técnicos que usan puntos de maneras inesperadas.

Recuerda que la fragmentación suele ser un proceso iterativo. Comienza con un enfoque simple, pruébalo con tus documentos y casos de uso específicos, y luego refínalo según la calidad de los resultados que obtengas de tu sistema RAG.