Deux moteurs RAG hybrides servis par MCP, mesurés avec leurs limites

Depuis septembre 2025, je mène une R&D d'IA appliquée sur des projets personnels, sans client. Objectif : savoir concevoir de bout en bout un assistant qui répond à partir d'une documentation en citant ses sources — et savoir prouver qu'il le fait.

Deux systèmes ont été mis en service en local. Même architecture, échelles différentes :

Les deux systèmes suivent la même chaîne. L'indexation, la recherche, le serveur MCP et le client Claude Code tournent sur ma machine. Seul le modèle Claude, hébergé en ligne par Anthropic, rédige la réponse : il reçoit pour cela la question et les passages récupérés.

1. 01
   DocumentsPDF ; pour le système 2, EPUB et collecte via API avec reprise.
2. 02
   IngestionConversion en texte, découpage en passages, indexation idempotente avec points de reprise.
3. 03
   Double indexBM25 (SQLite FTS5) pour les termes exacts, index vectoriel (sentence-transformers) pour le sens : ChromaDB dans le système 1, vecteurs NumPy float16 en memory-map dans le système 2.
4. 04
   Fusion RRFReciprocal Rank Fusion : les deux classements sont fusionnés par rang, sans avoir à rendre leurs scores comparables.
5. 05
   Serveur MCPFastMCP : 8 outils dans le système 1, 6 outils dans le système 2. Dans le système 1 : chargement paresseux pour tenir le délai MCP de 60 s, contournement de la limite SQLite de 999 variables.
6. 06
   Client Claude CodeExécuté en local : appelle les outils du serveur MCP et reçoit les passages avec leur source.
7. 07
   Modèle Claude, en ligneReçoit la question et les passages récupérés, rédige la réponse en citant ses sources ; la réponse revient au client.

Sur le système 1, la question était simple : un prompt de réponse plus strict améliore-t-il réellement les réponses ? L'expérience ne fait varier qu'une chose : ce prompt.

1. LocalGolden set61 questions : 56 répondables à partir du corpus, 5 hors corpus
2. LocalRecherche hybrideles mêmes passages pour les deux modes
3. En ligneGénération × 2question et passages transmis au modèle Claude : une réponse avec la consigne minimale, une avec le protocole de réponse
4. En ligneJuge LLMvia le modèle Claude : chaque réponse comparée à la réponse de référence

Consigne minimale (référence)

Répondre à partir des passages, sans demande de citation.

Protocole de réponse

Règles strictes : appuyer chaque détail factuel sur les passages, citer la source de chaque affirmation, répondre « le corpus ne couvre pas ce point » plutôt que d'improviser.

Axes jugés

Réponse correcte · citation présente · abstention.

Score combiné

Question répondable : réussie si la réponse est jugée correcte et cite une source, sans abstention. Question hors corpus : réussie si le modèle s'abstient.

Système 1 — A/B du prompt de réponse A

Le chiffre impressionne. Décomposé axe par axe, il raconte une histoire plus modeste — et plus utile :

Système 2 — moteur multilingue A

Migration : fichier Chroma de 18,8 Go → 1,1 Go de vecteurs float16 A

Migration du fichier ChromaDB (vecteurs float32, texte des passages et index interne : 18,8 Go) vers des vecteurs NumPy float16 seuls en memory-map (1,1 Go), le texte étant désormais servi par l'index plein texte existant.

• Juge LLM non calibré ; génération et jugement non déterministes.
• Fidélité des citations non vérifiée systématiquement : « citation présente » ne veut pas dire « citation exacte ».
• Une seule variable testée (le prompt de réponse), sur un golden set de 61 questions.
• Banc v2/v3 non archivé : latence en moyenne, régression sur le plus gros corpus, rappel mesuré avec un critère de pertinence large.
• Recherche locale, génération en ligne : la question et les passages récupérés sont transmis à un modèle hébergé, dont dépend la chaîne complète.
• 18,8 Go mesure le fichier SQLite de Chroma seul, pas « l'index vectoriel ».
• Projets personnels, sans client : aucune mesure en conditions d'exploitation réelles.
• Les ouvrages et corpus indexés ne sont volontairement pas nommés.

1. Décomposer avant d'agréger.Un score combiné flatteur cachait une exactitude stable. C'est la décomposition qui indique la suite : vérifier la fidélité des citations.
2. Hybride par défaut.BM25 retrouve les identifiants et les termes exacts, le vectoriel retrouve le sens ; la fusion RRF combine les deux classements sans calibrer leurs scores.
3. Le stockage est une décision d'architecture.Séparer texte et vecteurs, passer en float16 lu en memory-map : c'est ce qui a remplacé un fichier Chroma de 18,8 Go (vecteurs et texte) par 1,1 Go de vecteurs float16 seuls, le texte étant servi par l'index existant, sur un portable de 2014.
4. Un chiffre sans artefact archivé reste un indice.D'où les niveaux de preuve affichés ici : A quand le résultat est recalculable depuis un fichier, B quand il ne l'est pas encore.
5. Piloter des agents demande un cadre.Plans verrouillés par la revue adversariale d'un second modèle, golden sets, gates de mesure et tests automatisés : c'est ce cadre qui rend le développement agentique vérifiable.