La fragmentación de texto es uno de los pasos más críticos al construir un pipeline de RAG (Generación Aumentada por Recuperación). La forma en que divides tus documentos impacta directamente la calidad de todo tu sistema. Una mala estrategia de fragmentación puede hacer que se inserte contexto irrelevante en tus prompts, provocando que tu IA dé respuestas completamente incorrectas.

Considera este ejemplo: tienes un documento con secciones sobre investigación médica e ingeniería de software. Si fragmentas mal, un usuario que pregunte "¿Cuántos bugs corrigieron los ingenieros este año?" podría recibir información sobre investigación médica en lugar de ingeniería de software, simplemente porque la sección médica contenía la palabra "bug" en un contexto diferente.

Esto demuestra por qué la estrategia de fragmentación importa tanto. El objetivo es crear fragmentos que mantengan coherencia semántica y proporcionen contexto útil cuando se recuperen.

Tres estrategias principales de fragmentación

Existen tres enfoques principales para dividir texto en fragmentos:
- Basada en tamaño: Divide el texto en cadenas de igual longitud
- Basada en estructura: Divide según la estructura del documento (encabezados, párrafos, secciones)
- Basada en semántica: Agrupa oraciones o secciones relacionadas usando técnicas de PLN
Fragmentación basada en tamaño
La fragmentación basada en tamaño es el enfoque más sencillo. Simplemente divides tu documento en fragmentos de un número aproximadamente igual de caracteres o palabras. Es fácil de implementar y funciona de manera confiable en distintos tipos de documentos.

Sin embargo, este enfoque tiene desventajas claras:
- Las palabras quedan cortadas a la mitad de la oración
- Los fragmentos pierden contexto importante del texto circundante
- El contenido relacionado podría quedar dividido entre múltiples fragmentos

Agregando superposición
Para abordar el problema del contexto, puedes implementar una estrategia de superposición. Cada fragmento incluye algunos caracteres de los fragmentos vecinos, proporcionando contexto adicional y asegurando que la información importante no se pierda en los límites de los fragmentos.

Aunque esto crea cierta duplicación, generalmente vale la pena el intercambio por el mejor contexto que recibe cada fragmento.
Fragmentación basada en estructura
Cuando tus documentos tienen un formato consistente (como markdown con encabezados claros), la fragmentación basada en estructura puede producir excelentes resultados. Divides según elementos estructurales como los encabezados, creando fragmentos que se alinean con la organización natural del documento.

Esto funciona maravillosamente para documentos bien formateados, pero requiere garantías sobre la estructura del documento. No funcionará de manera confiable con archivos de texto plano o documentos formateados de forma inconsistente.
Ejemplos de implementación
Aquí hay tres funciones prácticas de fragmentación que puedes implementar:
Fragmentación basada en caracteres
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
chunks = []
start_idx = 0
while start_idx < len(text):
end_idx = min(start_idx + chunk_size, len(text))
chunk_text = text[start_idx:end_idx]
chunks.append(chunk_text)
start_idx = (
end_idx - chunk_overlap if end_idx < len(text) else len(text)
)
return chunksFragmentación basada en oraciones
import re
def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
sentences = re.split(r"(?<=[.!?])\s+", text)
chunks = []
start_idx = 0
while start_idx < len(sentences):
end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
current_chunk = sentences[start_idx:end_idx]
chunks.append(" ".join(current_chunk))
start_idx += max_sentences_per_chunk - overlap_sentences
if start_idx < 0:
start_idx = 0
return chunksFragmentación basada en secciones
def chunk_by_section(document_text):
pattern = r"\n## "
return re.split(pattern, document_text)Elegir la estrategia correcta
Tu elección de estrategia de fragmentación depende por completo de tu caso de uso específico:
- Basada en caracteres: La alternativa más confiable, funciona con cualquier tipo de documento
- Basada en oraciones: Buen equilibrio entre contexto y significado para prosa
- Basada en secciones: Excelentes resultados cuando tienes documentos estructurados
Para documentos subidos por usuarios sin garantías de formato, la fragmentación basada en caracteres suele ser tu opción más segura. Para documentos internos bien estructurados, la fragmentación basada en secciones puede ofrecer resultados superiores. La fragmentación basada en oraciones funciona bien para la mayoría de la prosa, pero puede tener dificultades con código o documentos técnicos que usan puntos de maneras inesperadas.
Recuerda que la fragmentación suele ser un proceso iterativo. Comienza con un enfoque simple, pruébalo con tus documentos y casos de uso específicos, y luego refínalo según la calidad de los resultados que obtengas de tu sistema RAG.