# Cahier de Travail -- RAG Implementation > Votre guide personnel pour la formation CAT1-02. > De Naive RAG à Agentic RAG : construisez votre propre système de bout en bout. **Formation :** RAG Implementation -- De Naive RAG à Agentic RAG **Durée :** 3 jours (Parcours Technique) / 2 jours (Parcours Business) **Date de la session :** ____________________ **Formateur :** ____________________ --- ## Votre profil | Information | Votre réponse | |-------------|---------------| | **Nom, Prénom** | | | **Fonction / Poste** | | | **Entreprise / Secteur** | | | **Niveau Python** | Débutant / Intermédiaire / Avancé | | **Expérience LLM** | Aucune / API calls basiques / Production | | **Expérience bases de données** | SQL basique / Avancé / PostgreSQL en prod | | **Parcours choisi** | Business (2 jours) / Technique (3 jours) | | **Cas d'usage visé** | | ### Vos attentes pour cette formation 1. _______________________________________________________________ 2. _______________________________________________________________ 3. _______________________________________________________________ ### Le problème que vous souhaitez résoudre avec le RAG _______________________________________________________________ _______________________________________________________________ --- ## QCM Pre-Formation : Score Initial **Score obtenu :** ______ / 100 | Composante | Score | |-----------|-------| | QCM (40 pts) | /40 | | Questions ouvertes (30 pts) | /30 | | Exercices pratiques (30 pts) | /30 | --- # JOUR 1 -- Fondamentaux RAG --- ## Module 1 -- Architecture RAG et Embeddings (Matin) ### Session 1 : Architecture RAG -- Du Problème à la Solution #### Ce que vous allez apprendre - Comprendre l'architecture RAG et ses 5 composants - Distinguer Naive RAG, Advanced RAG et Agentic RAG - Savoir quand utiliser RAG vs fine-tuning vs prompt engineering #### Notes personnelles _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ #### Mémo : Pipeline RAG en 5 étapes ``` [Documents] --> [Loader] --> [Chunker] --> [Embedder] --> [Vector DB] | [Question] --> [Embedder] --> [Retriever] <-------------------+ | [Generator (LLM)] --> [Réponse] ``` #### Mémo : RAG vs Fine-tuning vs Prompt Engineering | Critère | Prompt Engineering | RAG | Fine-tuning | |---------|-------------------|-----|-------------| | Donnees privées | Non | Oui | Oui | | Mise à jour facile | Oui | Oui | Non | | Coût | Faible | Moyen | Élevé | | Idéal pour | Taches générales | Donnees d'entreprise | Style/domaine spécifique | #### Exercice 1 : Cartographier les sources de données de mon entreprise Identifiez toutes les sources de données qui pourraient alimenter un système RAG dans votre organisation. | N deg. | Source de données | Type (PDF, Web, DB, API...) | Volume estimé | Fréquence de MAJ | Sensibilite (Public/Interne/Confidentiel) | Priorite RAG | |-----|------------------|----------------------------|--------------|------------------|------------------------------------------|-------------| | 1 | | | | | | | | 2 | | | | | | | | 3 | | | | | | | | 4 | | | | | | | | 5 | | | | | | | | 6 | | | | | | | | 7 | | | | | | | | 8 | | | | | | | **Total de documents estimé :** ________ pages / fichiers **Sources les plus pertinentes pour un premier POC :** ________________________ #### Exercice 2 : Mon premier pipeline RAG -- Observations Après avoir exécuté le notebook Colab du pipeline RAG minimal : | Paramètre teste | Valeur | Qualité de la réponse /5 | Observations | |----------------|--------|--------------------------|-------------| | top_k = 1 | | | | | top_k = 3 | | | | | top_k = 5 | | | | | top_k = 10 | | | | | temperature = 0.0 | | | | | temperature = 0.3 | | | | | temperature = 0.7 | | | | **Meilleure combinaison :** top_k = ______ , temperature = ______ **Pourquoi ?** _______________________________________________________________ #### Réflexion guidée - Que se passe-t-il quand top_k est trop élevé ? Et trop bas ? _______________________________________________________________ - Le RAG a-t-il hallucine sur certaines questions ? Lesquelles ? _______________________________________________________________ --- ### Session 2 : Embeddings et Stratégies de Chunking #### Ce que vous allez apprendre - Implémenter différentes stratégies de chunking - Comprendre les embeddings et leur impact sur le retrieval - Choisir la stratégie adaptée à votre type de documents #### Notes personnelles _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ #### Exercice 3 : Choisir la stratégie de chunking -- Arbre de décision Utilisez cet arbre pour choisir la stratégie adaptée à votre cas d'usage. ``` Mon corpus de documents est : | +-- Homogene (même format, même sujet) | | | +-- Textes courts (< 2 pages) --> Fixed-size (chunk_size=500, overlap=50) | +-- Textes longs (> 10 pages) --> Token-based (chunk_size=200 tokens) | +-- Hétérogène (formats mixtes, sujets varies) | | | +-- Budget API disponible --> Semantic chunking | +-- Budget limite --> Recursive character splitter (chunk_size=1000, overlap=200) | +-- Tres structure (manuels, docs techniques) | +-- Sections claires --> Hierarchical (parent-child) +-- Sections floues --> Semantic chunking ``` **Ma décision pour mon corpus :** | Critère | Mon corpus | |---------|-----------| | Type de documents | | | Homogene ou hétérogène ? | | | Longueur moyenne | | | Budget API | | | **Stratégie choisie** | | | **Paramètres** | chunk_size = ______ , overlap = ______ | #### Exercice 4 : Comparer les stratégies de chunking Résultats de votre comparaison sur le notebook Colab : | Stratégie | Nb chunks | Taille moyenne | Coherence thematique /5 | Qualité retrieval /5 | |-----------|-----------|---------------|------------------------|---------------------| | Fixed-size (500, 50) | | | | | | Token-based (200, 20) | | | | | | Semantic | | | | | **Meilleure stratégie pour mon corpus :** ______________________ **Pourquoi :** _______________________________________________________________ --- ## Module 2 -- Vector Databases et Premier Pipeline (Après-midi) ### Session 3 : Vector Databases -- Pinecone, Chroma, pgvector #### Ce que vous allez apprendre - Comparer les vector databases sur des critères objectifs - Choisir la bonne vector DB selon votre contexte - Indexer et requêter dans Chroma et pgvector #### Notes personnelles _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ #### Mémo : Comparatif Vector Databases | Critère | Pinecone | Chroma | pgvector | Weaviate | Qdrant | |---------|----------|--------|----------|----------|--------| | Type | Cloud | Open-source | Extension PG | Open-source | Open-source | | Setup | 2 min | 1 min | 15 min | 10 min | 5 min | | Scalabilité | Haute | Limitee | Bonne | Haute | Haute | | Coût | Payant | Gratuit | Gratuit | Freemium | Freemium | | Hybrid search | Oui | Non | Oui | Oui | Oui | | Idéal pour | Prod cloud | POC, proto | Équipe PG | Multimodal | Performance | #### Exercice 5 : Choisir ma vector database Répondez a ces questions pour déterminer la meilleure option. | Question | Votre réponse | |----------|---------------| | Mon équipe utilise-t-elle déjà PostgreSQL ? | Oui / Non | | Budget mensuel vector DB : | Gratuit / < 50 USD / < 500 USD / illimite | | Volume de documents : | < 10K / 10K-100K / 100K-1M / > 1M | | Besoin de hybrid search (vecteurs + mots-clés) ? | Oui / Non | | Préférence cloud vs self-hosted ? | Cloud / Self-hosted / Pas de préférence | | Équipe devops disponible ? | Oui / Non | **Ma décision :** ____________________________________ **Justification :** _______________________________________________________________ #### Exercice 6 : Benchmark -- Temps de requête Résultats de votre benchmark (notebook Colab) : | Vector DB | Temps d'indexation | Temps de requête (k=5) | Qualité résultats /5 | |-----------|--------------------|----------------------|---------------------| | Chroma | | | | | pgvector | | | | --- ### Session 4 : Mini-Projet Jour 1 -- Pipeline RAG Complet #### Exercice 7 : Mon pipeline RAG de bout en bout **Brief :** Construire un pipeline RAG fonctionnel sur un corpus de documents réels. **Mes choix techniques :** | Composant | Mon choix | Justification | |-----------|-----------|---------------| | Loader | PyPDFLoader / UnstructuredLoader / autre | | | Chunking | Stratégie : ______ (params : ______) | | | Embeddings | OpenAI / sentence-transformers / autre | | | Vector DB | Chroma / pgvector / autre | | | LLM | GPT-4o / Claude / autre | | **Test de qualité sur 10 questions :** | N deg. | Question | Réponse correcte ? | Sources citées ? | Qualité /5 | Commentaire | |-----|----------|-------------------|-----------------|-----------|------------| | 1 | | Oui / Non | Oui / Non | | | | 2 | | Oui / Non | Oui / Non | | | | 3 | | Oui / Non | Oui / Non | | | | 4 | | Oui / Non | Oui / Non | | | | 5 | | Oui / Non | Oui / Non | | | | 6 | | Oui / Non | Oui / Non | | | | 7 | | Oui / Non | Oui / Non | | | | 8 | | Oui / Non | Oui / Non | | | | 9 | | Oui / Non | Oui / Non | | | | 10 | | Oui / Non | Oui / Non | | | **Score moyen :** ______ / 5 **Principales faiblesses identifiées :** _______________________________________________ --- # JOUR 2 -- RAG en Production --- ## Module 3 -- Retrieval Avancé (Matin) ### Session 5 : Hybrid Search et Re-ranking #### Ce que vous allez apprendre - Implémenter la hybrid search (vecteurs + BM25) - Ajouter un re-ranker pour améliorer la précision - Comprendre la Reciprocal Rank Fusion #### Notes personnelles _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ #### Mémo : Les 3 niveaux de retrieval ``` Niveau 1 : Recherche sémantique seule [Query] --> [Embedding] --> [Vector DB] --> [Top K documents] Niveau 2 : Hybrid search [Query] --> [Embedding] --> [Vector DB] ----+ [Query] --> [BM25 (mots-clés)] ------------+--> [Fusion RRF] --> [Top K] Niveau 3 : Hybrid + Re-ranking [Query] --> [Hybrid search] --> [Top K candidats] --> [Re-ranker] --> [Top K final] ``` #### Exercice 8 : Comparer les approches de retrieval Testez les 3 approches sur 10 questions et notez les résultats. | Question | Sémantique seule /5 | BM25 seule /5 | Hybrid search /5 | Hybrid + rerank /5 | |----------|--------------------|--------------|-----------------|--------------------| | Q1 | | | | | | Q2 | | | | | | Q3 | | | | | | Q4 | | | | | | Q5 | | | | | | **Moyenne** | | | | | **Meilleure pondération hybrid :** sémantique ____% / BM25 ____% **Gain du re-ranking :** +____% de précision en moyenne --- ### Session 6 : Pré-retrieval et Post-retrieval #### Ce que vous allez apprendre - Maîtriser le query rewriting et HyDE - Appliquer la compression contextuelle et le filtering post-retrieval - Gerer le "lost-in-the-middle" problem #### Notes personnelles _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ #### Exercice 9 : Pipeline pré-retrieval -- Queries vagues Testez le query rewriting sur 5 queries vagues d'utilisateurs non techniques. | Query originale (vague) | Queries reécrites par le LLM | Retrieval amélioré ? | |------------------------|------------------------------|---------------------| | "Ça marche pas" | 1. ______ 2. ______ 3. ______ | Oui / Non | | "C'est quoi le truc la ?" | 1. ______ 2. ______ 3. ______ | Oui / Non | | | 1. ______ 2. ______ 3. ______ | Oui / Non | | | 1. ______ 2. ______ 3. ______ | Oui / Non | | | 1. ______ 2. ______ 3. ______ | Oui / Non | **Amélioration moyenne du retrieval avec query rewriting :** ______% --- ## Module 4 -- Évaluation et Optimisation (Après-midi) ### Session 7 : Évaluation avec RAGAS #### Ce que vous allez apprendre - Évaluer un pipeline RAG avec les 4 dimensions RAGAS - Créer un dataset d'évaluation avec ground truth - Interpréter les scores et identifier les axes d'amélioration #### Notes personnelles _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ #### Mémo : Les 4 dimensions RAGAS | Dimension | Question qu'elle pose | Bon score | Mauvais score | |-----------|----------------------|-----------|---------------| | **Context Precision** | Les documents retrouvés sont-ils pertinents ? | > 0.80 | < 0.60 | | **Context Recall** | Tous les documents pertinents sont-ils retrouvés ? | > 0.75 | < 0.50 | | **Faithfulness** | La réponse est-elle fidèle au contexte ? (pas d'hallucination) | > 0.85 | < 0.70 | | **Answer Relevancy** | La réponse répond-elle à la question ? | > 0.80 | < 0.60 | #### Exercice 10 : Évaluer la qualité de mon RAG avec RAGAS **Scores RAGAS de mon pipeline :** | Dimension | Score | Interprétation | Action corrective | |-----------|-------|---------------|-------------------| | Context Precision | | Bon / Moyen / Faible | | | Context Recall | | Bon / Moyen / Faible | | | Faithfulness | | Bon / Moyen / Faible | | | Answer Relevancy | | Bon / Moyen / Faible | | **Diagnostic :** - Si Context Precision faible : le problème est dans le __________________ - Si Context Recall faible : le problème est dans le __________________ - Si Faithfulness faible : le problème est dans le __________________ - Si Answer Relevancy faible : le problème est dans le __________________ **Top 3 des actions d'amélioration :** 1. _______________________________________________________________ 2. _______________________________________________________________ 3. _______________________________________________________________ #### Exercice 11 : Mini-Projet Jour 2 -- RAG complet avec évaluation **Brief :** RAG pour un cabinet d'avocats. Cible faithfulness >= 0.85. **Mes scores après optimisation :** | Itération | Modification apportée | Faithfulness | Context Precision | Answer Relevancy | |-----------|----------------------|-------------|-------------------|-----------------| | Baseline | Pipeline Jour 1 | | | | | V2 | | | | | | V3 | | | | | | Finale | | | | | **Cible faithfulness >= 0.85 atteinte ?** Oui / Non --- # JOUR 3 -- Agentic RAG (Parcours Technique uniquement) --- ## Module 5 -- RAG Avancé (Matin) ### Session 9 : Multi-Modal RAG et RAG sur Donnees Structurees #### Ce que vous allez apprendre - Implémenter un RAG sur des données non textuelles (images, tableaux) - Connecter un RAG à des bases de données structurées (SQL) - Combiner RAG textuel et RAG structure #### Notes personnelles _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ --- ## Module 6 -- Agentic RAG et Production (Après-midi) ### Session 10 : Agentic RAG #### Ce que vous allez apprendre - Concevoir un Agentic RAG ou l'agent décide autonomement sa stratégie - Implémenter la query décomposition et le multi-hop retrieval - Ajouter le self-correction (re-retrieval si qualité insuffisante) #### Notes personnelles _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ #### Exercice 12 : Concevoir l'architecture RAG pour mon cas d'usage **Mon cas d'usage :** ____________________________________ **Volume de documents :** ________ Complétez le diagramme d'architecture : ``` [Question utilisateur] | [Pre-processing] - Query rewriting : Oui / Non - HyDE : Oui / Non - Multi-query : Oui / Non | [Routing Agent] / | \ / | \ [Source 1] [Source 2] [Source 3] _________ _________ _________ | | | | | | | | | | | | | [Fusion + Re-ranking] | [Post-processing] - Compression : Oui / Non - Filtering : Oui / Non | [Génération (LLM)] | [Self-correction] Score < 0.7 ? --> Re-retrieve | [Réponse finale + Sources] ``` **Mes choix détaillés :** | Composant | Technologie | Paramètres | Justification | |-----------|------------|-----------|---------------| | Pré-retrieval | | | | | Vector DB | | | | | Retrieval | Semantic / Hybrid / Agentic | | | | Re-ranking | | | | | Post-retrieval | | | | | LLM generateur | | | | | Évaluation | RAGAS / autre | | | **Coût estimé par requête :** ______ USD **Latence cible :** ______ ms --- ## Plan d'Action Personnel (J+90) ### Semaine 1 (des votre retour) - [ ] Identifier le corpus de documents pour le premier POC RAG - [ ] Installer l'environnement (Python, LangChain, Chroma) - [ ] Construire un pipeline RAG minimal sur 50 documents - [ ] _______________________________________________________________ ### Semaines 2-4 (premier mois) - [ ] Tester 3 stratégies de chunking sur mon corpus reel - [ ] Choisir et déployer la vector database (Chroma/pgvector) - [ ] Implémenter la hybrid search (sémantique + BM25) - [ ] Créer un dataset d'évaluation de 30 questions avec ground truth - [ ] Évaluer avec RAGAS (cible : faithfulness >= 0.80) - [ ] _______________________________________________________________ ### Mois 2 - [ ] Ajouter le query rewriting pour gérer les questions vagues - [ ] Implémenter le re-ranking (cross-encoder) - [ ] Optimiser les paramètres (chunk_size, top_k, pondération hybrid) - [ ] Atteindre faithfulness >= 0.85 - [ ] Préparer la démo pour les stakeholders - [ ] _______________________________________________________________ ### Mois 3 - [ ] Déployer en production (API FastAPI + Docker) - [ ] Configurer le monitoring (latence, coût, qualité) - [ ] Ajouter l'Agentic RAG si pertinent (routing multi-sources) - [ ] Former les utilisateurs finaux - [ ] Mesurer l'impact business (temps gagne, satisfaction) - [ ] _______________________________________________________________ ### Métriques de progression | Métrique | Baseline | J+30 | J+60 | J+90 | |----------|---------|------|------|------| | Faithfulness (RAGAS) | -- | | | | | Context Precision (RAGAS) | -- | | | | | Nombre de documents indexés | 0 | | | | | Latence moyenne (ms) | -- | | | | | Utilisateurs actifs | 0 | | | | --- ## Scores | Évaluation | Score | |-----------|-------| | QCM pré-formation | /100 | | QCM post-formation | /100 | | Delta | | | Mini-projet Jour 1 (pipeline RAG) | /100 | | Mini-projet Jour 2 (RAG + RAGAS) | /100 | | Mini-projet Jour 3 (Agentic RAG) | /100 | | NPS | /10 | --- ## Notes libres _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ --- *Cahier de Travail -- RAG Implementation v1.0* *AVA First AI -- Centre de Formation IA*

Acces reserve aux participants