Le découpage de texte en blocs est l'une des étapes les plus critiques dans la construction d'un pipeline RAG (Retrieval Augmented Generation). La façon dont vous divisez vos documents a un impact direct sur la qualité de l'ensemble de votre système. Une mauvaise stratégie de découpage peut entraîner l'insertion de contexte non pertinent dans vos requêtes, ce qui peut amener votre IA à donner des réponses complètement erronées.

Prenons cet exemple : vous disposez d'un document comportant des sections sur la recherche médicale et l'ingénierie logicielle. Si vous découpez mal le texte, un utilisateur demandant « Combien de bugs les ingénieurs ont-ils corrigés cette année ? » pourrait obtenir des informations sur la recherche médicale au lieu de l'ingénierie logicielle, simplement parce que la section médicale contenait le mot « bug » dans un contexte différent.

Cela démontre à quel point la stratégie de découpage est importante. L'objectif est de créer des blocs qui maintiennent une cohérence sémantique et fournissent un contexte utile lorsqu'ils sont récupérés.

Trois principales stratégies de découpage

Il existe trois approches principales pour diviser un texte en blocs :
- Basée sur la taille : diviser le texte en chaînes de longueur égale
- Basée sur la structure : diviser selon la structure du document (titres, paragraphes, sections)
- Basée sur la sémantique : regrouper les phrases ou sections apparentées à l'aide de techniques de TAL (traitement automatique du langage)
Découpage basé sur la taille
Le découpage basé sur la taille est l'approche la plus simple. Vous divisez simplement votre document en blocs d'un nombre à peu près égal de caractères ou de mots. Elle est facile à mettre en œuvre et fonctionne de manière fiable quel que soit le type de document.

Cependant, cette approche présente des inconvénients évidents :
- Les mots sont coupés en plein milieu d'une phrase
- Les blocs perdent un contexte important provenant du texte environnant
- Un contenu apparenté peut se retrouver réparti entre plusieurs blocs

Ajouter un chevauchement
Pour résoudre le problème de contexte, vous pouvez mettre en œuvre une stratégie de chevauchement. Chaque bloc inclut certains caractères des blocs voisins, ce qui fournit un contexte supplémentaire et garantit qu'aucune information importante n'est perdue aux limites des blocs.

Bien que cela crée une certaine duplication, le compromis en vaut généralement la peine pour le contexte amélioré que reçoit chaque bloc.
Découpage basé sur la structure
Lorsque vos documents ont une mise en forme cohérente (comme du markdown avec des titres clairs), le découpage basé sur la structure peut produire d'excellents résultats. Vous divisez le texte selon des éléments structurels comme les titres, créant des blocs qui s'alignent sur l'organisation naturelle du document.

Cela fonctionne à merveille pour les documents bien formatés, mais cela nécessite des garanties sur la structure du document. Cela ne fonctionnera pas de manière fiable avec des fichiers texte brut ou des documents formatés de façon incohérente.
Exemples d'implémentation
Voici trois fonctions de découpage pratiques que vous pouvez implémenter :
Découpage basé sur les caractères
def chunk_by_char(text, chunk_size=150, chunk_overlap=20):
chunks = []
start_idx = 0
while start_idx < len(text):
end_idx = min(start_idx + chunk_size, len(text))
chunk_text = text[start_idx:end_idx]
chunks.append(chunk_text)
start_idx = (
end_idx - chunk_overlap if end_idx < len(text) else len(text)
)
return chunksDécoupage basé sur les phrases
import re
def chunk_by_sentence(text, max_sentences_per_chunk=5, overlap_sentences=1):
sentences = re.split(r"(?<=[.!?])\s+", text)
chunks = []
start_idx = 0
while start_idx < len(sentences):
end_idx = min(start_idx + max_sentences_per_chunk, len(sentences))
current_chunk = sentences[start_idx:end_idx]
chunks.append(" ".join(current_chunk))
start_idx += max_sentences_per_chunk - overlap_sentences
if start_idx < 0:
start_idx = 0
return chunksDécoupage basé sur les sections
def chunk_by_section(document_text):
pattern = r"\n## "
return re.split(pattern, document_text)Choisir la bonne stratégie
Le choix de votre stratégie de découpage dépend entièrement de votre cas d'usage spécifique :
- Basée sur les caractères : solution de repli la plus fiable, fonctionne avec tout type de document
- Basée sur les phrases : bon équilibre entre contexte et sens pour la prose
- Basée sur les sections : excellents résultats lorsque vous disposez de documents structurés
Pour les documents téléchargés par les utilisateurs sans garantie de mise en forme, le découpage basé sur les caractères constitue souvent le choix le plus sûr. Pour les documents internes bien structurés, le découpage basé sur les sections peut fournir des résultats supérieurs. Le découpage basé sur les phrases fonctionne bien pour la plupart des textes en prose, mais peut rencontrer des difficultés avec du code ou des documents techniques qui utilisent les points de manière inattendue.
N'oubliez pas que le découpage est souvent un processus itératif. Commencez par une approche simple, testez-la avec vos documents et cas d'usage spécifiques, puis affinez-la en fonction de la qualité des résultats que vous obtenez de votre système RAG.