{"notes":[{"id":"retrieval-augmented-generation/rag","category":"retrieval-augmented-generation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"RAG","subtitle":"Pourquoi un chiffon ?","author":"Z. Yuan","paperDate":"2020-05-22","publishedOn":"2026-05-17","world":"external/rag","paperTitle":"Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks","paperUrl":"https://arxiv.org/abs/2005.11401","bibliography":{"title":"Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks","authors":["Patrick Lewis","Ethan Perez","Aleksandra Piktus","Fabio Petroni","Vladimir Karpukhin","Naman Goyal","Heinrich Küttler","Mike Lewis","Wen-tau Yih","Tim Rocktäschel","Sebastian Riedel","Douwe Kiela"],"url":"https://arxiv.org/abs/2005.11401","pdfUrl":"https://arxiv.org/pdf/2005.11401v4","codeUrl":null,"preprint":{"id":"2005.11401","submittedOn":"2020-05-22","url":"https://arxiv.org/abs/2005.11401"},"publication":{"venue":"NeurIPS","year":2020,"kind":"conference","url":"https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html"},"citation":"@misc{retrievalaugmentedgenerationrag2020,\n  title = {{Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks}},\n  author = {Patrick Lewis and Ethan Perez and Aleksandra Piktus and Fabio Petroni and Vladimir Karpukhin and Naman Goyal and Heinrich Küttler and Mike Lewis and Wen-tau Yih and Tim Rocktäschel and Sebastian Riedel and Douwe Kiela},\n  year = {2020},\n  eprint = {2005.11401},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2005.11401}\n}\n","citationPath":"/content/papers/citations/retrieval-augmented-generation/rag.85ab2502cd0c.bib"},"thumbnail":{"src":"/content/papers/assets/05c7bcd1d2c3f13c0726dfa7180e85f043b7cd64a0c61fa595b954d979a6550e.png","width":1122,"height":358},"locale":"fr","path":"/content/papers/fr/retrieval-augmented-generation/rag.4674c628ef27.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"mémoire-externe--21-millions-de-passages-de-wikipédia","text":"Mémoire externe : 21 millions de passages de Wikipédia","depth":3},{"id":"le-document-est-une-variable-aléatoire","text":"Le document est une variable aléatoire","depth":3},{"id":"comment-le-retriever-apprend-il-sans-annotation-","text":"Comment le retriever apprend-il sans annotation ?","depth":3},{"id":"comment-décoder-à-linférence-","text":"Comment décoder à l'inférence ?","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"questions-réponses-en-domaine-ouvert","text":"Questions-réponses en domaine ouvert","depth":3},{"id":"créer-des-énigmes-de-jeopardy-avec-deux-documents","text":"Créer des énigmes de Jeopardy avec deux documents","depth":3},{"id":"la-recherche-apprise-est-elle-meilleure-","text":"La recherche apprise est-elle meilleure ?","depth":3},{"id":"changer-lindex-pour-actualiser-les-connaissances","text":"Changer l'index pour actualiser les connaissances","depth":3},{"id":"quelques-difficultés","text":"Quelques difficultés","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"Ces dernières années, dès qu'il est question de « faire lire les documents de l'entreprise à un modèle de langage », le mot RAG finit presque toujours par apparaître.\n\nCe nom vient précisément de cet article de 2020.\n\nSeulement voilà : en anglais, *rag* désigne un chiffon, un morceau de tissu usé. Une technique qui allait devenir incontournable dans l'IA porte donc, littéralement, le nom de « chiffon ». Difficile de ne pas sourire.\n\nDans un [**entretien avec NVIDIA**](https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/), le premier auteur, Patrick Lewis, s'est lui-même excusé pour ce sigle peu élégant : s'ils avaient su qu'il se répandrait autant, ils auraient davantage réfléchi au nom. Ils comptaient bien en trouver un meilleur, mais personne n'avait eu d'idée pendant la rédaction.\n\nLe nom est resté.\n\nSi vous avez découvert le RAG après ChatGPT, cet article peut toutefois vous surprendre. Aujourd'hui, le terme désigne souvent une recette simple : retrouver quelques passages, les coller dans un prompt et laisser un grand modèle de langage répondre. Ici, le générateur est un BART de 400 millions de paramètres ; le système de recherche et le générateur sont entraînés ensemble, et le document retrouvé est traité comme une **variable aléatoire**.\n\nRevenons donc à ce que ce nom désignait à l'origine.\n\n## Définir le problème\n\nVers 2020, on savait déjà que les modèles de langage préentraînés mémorisaient de nombreuses connaissances factuelles dans leurs paramètres. Un modèle comme T5 pouvait répondre correctement à certaines questions sans recevoir le moindre document de référence.\n\nC'est l'approche **closed-book**, comme un examen à livre fermé : tout le savoir est dans la tête.\n\nElle pose plusieurs difficultés :\n\n1. **Les connaissances sont difficiles à actualiser.** Le monde change, mais le contenu des paramètres reste figé jusqu'à un nouvel entraînement.\n2. **Les sources restent inconnues.** Même quand la réponse est correcte, on ignore où le modèle l'a apprise.\n3. **Le modèle peut inventer avec assurance.** Ce que l'on appelle couramment des « hallucinations ».\n\nUne autre voie consiste à laisser le modèle consulter des documents : l'approche **open-book**. REALM et ORQA avaient déjà associé un système de recherche différentiable à un modèle de langage masqué, mais uniquement pour des **questions-réponses extractives** : la réponse devait être un passage du texte, à délimiter.\n\nLes auteurs visent plus large :\n\n- **Peut-on doter un modèle génératif généraliste, de type seq2seq, d'une mémoire externe consultable, puis l'adapter à plusieurs tâches avec la même méthode ?**\n\nUne contrainte complique l'affaire : les données d'entraînement contiennent seulement des questions et des réponses. Personne n'indique quel document aller chercher.\n\nComment le système de recherche peut-il apprendre dans ces conditions ?\n\n## Résoudre le problème\n\n### Architecture du modèle\n\n[![Architecture RAG : le Query Encoder transforme l'entrée en q(x), MIPS sélectionne les documents top-K du Document Index, puis le Generator produit une réponse marginalisée sur les documents](/content/papers/assets/05c7bcd1d2c3f13c0726dfa7180e85f043b7cd64a0c61fa595b954d979a6550e.png)](/content/papers/assets/05c7bcd1d2c3f13c0726dfa7180e85f043b7cd64a0c61fa595b954d979a6550e.png)\n\n*Figure 1 de l'article, extraite de la [**page 2 du PDF v4**](https://arxiv.org/pdf/2005.11401v4#page=2). À gauche figurent les entrées de trois tâches ; à droite, les sorties correspondantes.*\n\nLisons le schéma de gauche à droite.\n\nTout à gauche, l'entrée $x$ peut être une question (« Définir l'oreille moyenne »), une affirmation à vérifier ou un terme servant de réponse pour créer une énigme de Jeopardy (« La Divine Comédie »).\n\nLe cadre vert est le **système de recherche**, ou retriever, $p_\\eta$. Le Query Encoder transforme l'entrée en vecteur $q(x)$ ; le Document Index contient les vecteurs $d(z)$ calculés à l'avance pour chaque document. MIPS sélectionne les documents les plus pertinents, $z_1,\\dots,z_4$.\n\nLe cadre bleu est le **générateur** $p_\\theta$. Il concatène l'entrée avec chacun des documents, séparément, et produit une réponse. L'étape finale « Marginalize » rassemble ces résultats en une seule prédiction.\n\nLa flèche pointillée du haut porte la mention « End-to-End Backprop through **q** and $p_\\theta$ » : pendant l'entraînement, les gradients remontent jusqu'au Query Encoder et au générateur. Le Document Index n'y figure pas. Nous y reviendrons.\n\nLes auteurs décrivent ces deux parties comme deux mémoires :\n\n- **Mémoire paramétrique (parametric memory)** : les paramètres du générateur, donc ce que BART a mémorisé.\n- **Mémoire non paramétrique (non-parametric memory)** : l'index externe de documents, que l'on peut remplacer directement.\n\n### Mémoire externe : 21 millions de passages de Wikipédia\n\nLa source externe est unique : Wikipédia en anglais, dans sa version de décembre 2018.\n\nChaque article est découpé en passages de 100 mots sans chevauchement, pour un total d'environ 21 millions de « documents ». Un encodeur de documents calcule leurs vecteurs, stockés dans un index construit avec FAISS.\n\nLa recherche repose sur [**DPR**](https://arxiv.org/abs/2004.04906), Dense Passage Retriever. Il utilise deux encodeurs BERT-base, un pour les questions et un pour les documents. La pertinence est donnée par le produit scalaire des deux vecteurs :\n\n$$\np_\\eta(z\\mid x)\\propto \\exp\\!\\left(d(z)^\\top q(x)\\right),\\quad d(z)=\\text{BERT}_d(z),\\ q(x)=\\text{BERT}_q(x)\n$$\n\nTrouver les $K$ plus grands produits scalaires parmi 21 millions de vecteurs est un problème de **MIPS**, Maximum Inner Product Search.\n\n\n> [!TIP]\n> \n> **Faut-il comparer les 21 millions de vecteurs à chaque requête ?**\n> \n> Non. Les auteurs combinent FAISS avec HNSW, Hierarchical Navigable Small World, pour une recherche approchée. Les vecteurs sont organisés en graphes de voisinage à plusieurs niveaux ; la recherche suit ces graphes vers la cible, sans calculer un produit scalaire avec chaque vecteur. Les résultats peuvent s'écarter du top $K$ exact, en échange d'un temps de recherche sous-linéaire.\n> \n> L'annexe précise aussi que l'index contient 15,3 milliards de valeurs numériques, stockables sur 8 bits pour réduire l'occupation de la mémoire et du disque.\n\n\nLe générateur est BART-large, avec environ 400 millions de paramètres. On concatène l'entrée $x$ et le document $z$, puis on lui demande de générer la réponse. Rien de plus compliqué à ce stade.\n\n### Le document est une variable aléatoire\n\nVoici maintenant le point central de l'article.\n\nLes données d'entraînement n'indiquent pas quel document est le bon. Les auteurs choisissent donc de **ne pas en désigner un** : le document retrouvé $z$ devient une variable latente, et les documents possibles sont combinés par une moyenne pondérée.\n\nLe retriever fournit une probabilité $p_\\eta(z\\mid x)$ pour chaque document. Le générateur donne la probabilité de la réponse sous ce document, $p_\\theta(y\\mid x,z)$. Multiplier ces deux termes, puis sommer sur les documents, donne la probabilité de la réponse.\n\nLes auteurs proposent deux façons de faire cette somme.\n\n**RAG-Sequence** : toute la réponse dépend du même document. On calcule d'abord la probabilité de la séquence entière sous chaque document, puis on pondère par la probabilité du document :\n\n$$\np_{\\text{RAG-Sequence}}(y\\mid x)\\approx\\sum_{z\\in\\text{top-}k}p_\\eta(z\\mid x)\\prod_{i}^{N}p_\\theta(y_i\\mid x,z,y_{1:i-1})\n$$\n\n**RAG-Token** : chaque token peut s'appuyer sur un document différent. À chaque étape, on pondère sur les documents pour obtenir la probabilité du token, puis on multiplie ces probabilités :\n\n$$\np_{\\text{RAG-Token}}(y\\mid x)\\approx\\prod_{i}^{N}\\sum_{z\\in\\text{top-}k}p_\\eta(z\\mid x)\\,p_\\theta(y_i\\mid x,z,y_{1:i-1})\n$$\n\nSeul l'ordre de $\\sum$ et $\\prod$ change. Qu'est-ce que cela produit ?\n\nPrenons quelques petits nombres.\n\nLe retriever trouve deux documents, avec une probabilité de 0,6 pour doc1 et de 0,4 pour doc2. La réponse comporte deux tokens :\n\n- Sous doc1, le générateur attribue 0,9 au premier token et 0,2 au second.\n- Sous doc2, les préférences s'inversent : 0,3 pour le premier et 0,8 pour le second.\n\nAutrement dit, doc1 contient surtout l'information utile au début de la réponse, et doc2 celle utile à la fin.\n\n```python\n# Probabilités des deux documents données par le retriever\np_z = {\"doc1\": 0.6, \"doc2\": 0.4}\n\n# Probabilités des deux tokens de réponse sous chaque document\np_y = {\n    \"doc1\": [0.9, 0.2],  # Le premier token convient à doc1, le second beaucoup moins\n    \"doc2\": [0.3, 0.8],  # Préférence inverse\n}\n\n# RAG-Sequence : une seule source pour la séquence, puis pondération des documents\nseq = sum(p_z[z] * p_y[z][0] * p_y[z][1] for z in p_z)\n\n# RAG-Token : pondération des documents pour chaque token, puis multiplication\ntok = 1.0\nfor i in range(2):\n    tok *= sum(p_z[z] * p_y[z][i] for z in p_z)\n\nprint(f\"RAG-Sequence: {seq:.4f}\")\nprint(f\"RAG-Token:    {tok:.4f}\")\n\n# RAG-Sequence: 0.2040\n# RAG-Token:    0.2904\n```\n\nRAG-Sequence exige qu'un seul document soutienne toute la réponse. doc1 convient au début mais mal à la fin ; doc2 fait l'inverse. Les deux possibilités sont donc pénalisées.\n\nRAG-Token utilise surtout doc1 pour le premier token et doc2 pour le second. Cette réponse « assemblée » reçoit ainsi une probabilité plus élevée.\n\nC'est aussi ce qui aide RAG-Token à créer des énigmes de Jeopardy. Nous en verrons un exemple dans les résultats.\n\n\n> [!NOTE]\n> \n> **Et pour la classification ?**\n> \n> Si une étiquette est traitée comme une réponse d'un seul token, par exemple « soutient », « réfute » ou « information insuffisante » en vérification de faits, l'ordre de $\\sum$ et $\\prod$ devient sans effet. Les deux variantes de RAG sont alors identiques.\n\n\n### Comment le retriever apprend-il sans annotation ?\n\nL'objectif est simple : maximiser la probabilité marginale de la bonne réponse, soit minimiser $-\\log p(y\\mid x)$.\n\nRegardez les équations : $p_\\eta(z\\mid x)$ figure dans la somme, donc reçoit un gradient. Si un document aide le générateur à produire la bonne réponse, augmenter sa probabilité augmente la probabilité marginale globale. L'entraînement apprend ainsi au retriever à mieux noter les documents utiles.\n\nPersonne ne lui désigne le bon document. Il apprend lesquels rendent service.\n\nLes auteurs ne mettent toutefois à jour que **l'encodeur de questions** $\\text{BERT}_q$ et BART. **L'encodeur de documents et l'index restent gelés.**\n\nLa raison est très pratique : modifier l'encodeur de documents obligerait à recalculer 21 millions de vecteurs et à reconstruire l'index. REALM le reconstruit périodiquement pendant le préentraînement ; ici, les auteurs obtiennent déjà de bons résultats sans cette étape.\n\n\n> [!TIP]\n> \n> **Une confusion fréquente sur l'entraînement de bout en bout**\n> \n> On lit parfois que RAG entraîne le retriever de bout en bout. Plus précisément, seule la partie questions est mise à jour. La partie documents reste dans l'état initial fourni par DPR. DPR avait lui-même été entraîné avec des annotations de recherche de Natural Questions et TriviaQA, ce que les auteurs rappellent dans les résultats.\n\n\n### Comment décoder à l'inférence ?\n\nRAG-Token calcule la probabilité du prochain token à chaque étape. Une recherche en faisceau classique s'applique directement.\n\nRAG-Sequence est moins simple : la probabilité de la séquence entière ne se décompose pas en probabilités de tokens de la même manière. Les auteurs lancent une recherche en faisceau pour chaque document, rassemblent les réponses candidates, puis calculent pour chacune sa probabilité sous les autres documents avant la somme pondérée. Ils appellent cela « Thorough Decoding ».\n\nAvec beaucoup de candidates, ces passes supplémentaires deviennent coûteuses. Une variante approchée, « Fast Decoding », attribue une probabilité nulle sous un document à toute candidate absente du faisceau de ce document. Elle évite ainsi les recalculs.\n\n## Discussion\n\n### Questions-réponses en domaine ouvert\n\nLes auteurs testent quatre jeux : Natural Questions (NQ), TriviaQA (TQA), WebQuestions (WQ) et CuratedTrec (CT). La mesure est l'Exact Match, la proportion de réponses exactement conformes à une réponse de référence.\n\n[![Tableau 1 : scores de T5 sans documents, de REALM et DPR avec documents, puis de RAG-Token et RAG-Sequence sur NQ, TQA, WQ et CT](/content/papers/assets/e4210dd8d6a0578d12df7e28472ad4aec7137a2aa87c895aad1e7044d0bfcdd6.png)](/content/papers/assets/e4210dd8d6a0578d12df7e28472ad4aec7137a2aa87c895aad1e7044d0bfcdd6.png)\n\n*Tableau 1 de l'article, extrait de la [**page 6 du PDF v4**](https://arxiv.org/pdf/2005.11401v4#page=6). Pour TQA, la colonne de gauche correspond au test standard en domaine ouvert, celle de droite à TQA-Wiki.*\n\nLe tableau comporte trois parties : T5 à livre fermé en haut, REALM et DPR à livre ouvert au milieu, puis RAG en bas.\n\nSur NQ, RAG-Sequence atteint 44,5, contre 34,5 pour T5-11B sans documents.\n\nIl faut regarder les tailles. T5-11B compte 11 milliards de paramètres entraînables. RAG totalise environ 626 millions : deux BERT-base d'environ 110 millions chacun, dont l'encodeur de documents reste gelé, plus les quelque 400 millions de BART. L'annexe indique que T5-large, plus proche en taille avec 770 millions de paramètres, n'obtient que 28,9 sur NQ.\n\nLe système de questions-réponses DPR est un autre point de comparaison. Il utilise en plus un cross-encoder pour le reclassement et un lecteur extractif. RAG se passe des deux et gagne tout de même trois points sur NQ.\n\nLa génération offre aussi une possibilité inaccessible à l'extraction : produire la bonne réponse lorsque les documents contiennent des indices, mais pas la réponse mot pour mot. Sur les questions NQ dont la réponse correcte n'apparaît dans aucun document retrouvé, RAG réussit encore 11,8 % des cas ; un système extractif y est nécessairement à 0 %.\n\n### Créer des énigmes de Jeopardy avec deux documents\n\nJeopardy est un jeu télévisé américain au format particulier : on fournit une réponse et il faut écrire l'indice correspondant. Pour « The World Cup », l'indice pourrait être : « En 1986, le Mexique est devenu le premier pays à accueillir deux fois cette compétition internationale. »\n\nCes indices réunissent souvent deux faits, ce qui convient pour tester la capacité d'assemblage de RAG-Token. Le graphique suivant utilise l'entrée « Hemingway » et cinq documents retrouvés. Pour chaque token généré, il indique quel document semble aider le modèle :\n\n[![Carte thermique des probabilités a posteriori des cinq documents pour chaque token d'une énigme Jeopardy générée par RAG-Token à partir de Hemingway](/content/papers/assets/bc3d0fd74e0299ec9fc8eae15768959cef1e43472643f9449c1f7002164a42db.png)](/content/papers/assets/bc3d0fd74e0299ec9fc8eae15768959cef1e43472643f9449c1f7002164a42db.png)\n\n*Figure 2 de l'article, extraite de la [**page 7 du PDF v4**](https://arxiv.org/pdf/2005.11401v4#page=7). Les tokens générés sont en abscisse et les cinq documents en ordonnée. Une teinte plus foncée indique une probabilité a posteriori plus élevée.*\n\nDeux documents sont présentés à gauche : Document 1 mentionne *L'Adieu aux armes* (A Farewell to Arms), et Document 2 *Le soleil se lève aussi* (The Sun Also Rises).\n\nSur la carte à droite, la ligne Doc 2 s'assombrit lors de la génération de « Sun ». Quand le modèle écrit « A » et commence « A Farewell to Arms », Doc 1 prend le relais.\n\nC'est exactement le cas de notre petit calcul : différentes parties de la même phrase s'appuient sur différents documents.\n\nUn autre détail est intéressant : après le premier token d'un titre, la carte s'éclaircit. Selon les auteurs, BART sait continuer tout seul. Ils donnent le préfixe « \"The Sun » à BART sans recherche, et il complète bien le titre. Les deux mémoires coopèrent : les documents orientent le modèle, puis les connaissances dans les paramètres terminent la phrase.\n\nUne évaluation humaine compare l'exactitude factuelle de 452 paires d'énigmes produites par BART et RAG-Token. BART est jugé plus exact dans seulement 7,1 % des paires, contre 42,7 % pour RAG, selon le tableau 4.\n\n### La recherche apprise est-elle meilleure ?\n\nLes auteurs testent deux ablations : geler le retriever au lieu de l'entraîner, ou le remplacer par BM25.\n\nPour RAG-Sequence sur le jeu de développement NQ, le tableau 6 donne :\n\n1. **BM25 à la place du retriever** : 31,8.\n2. **Retriever gelé** : 41,2.\n3. **Entraînement conjoint** : 44,0.\n\nApprendre à rechercher apporte donc beaucoup aux questions-réponses.\n\nFEVER fait exception : pour la vérification de faits à trois classes, BM25 atteint 75,1 % d'exactitude, légèrement au-dessus des 74,5 % de la recherche apprise. Les auteurs supposent que les affirmations FEVER concernent souvent des entités précises : reconnaître leur nom suffit à retrouver le contenu, ce qui favorise les mots-clés.\n\n### Changer l'index pour actualiser les connaissances\n\nCette expérience montre particulièrement bien l'intérêt de la mémoire externe.\n\nLes auteurs construisent aussi un index avec Wikipédia de décembre 2016. Ils sélectionnent 82 fonctions de dirigeants dont les titulaires ont changé entre 2016 et 2018, puis interrogent le modèle avec « Who is {position}? », par exemple « Who is the President of Peru? ».\n\n| Index | Dirigeants de 2016 | Dirigeants de 2018 |\n| --- | ---: | ---: |\n| Index 2016 | 70 % | 4 % |\n| Index 2018 | 12 % | 68 % |\n\n*Synthèse de la section §4.5 de l'article.*\n\nQuand l'année de l'index correspond à celle des questions, environ sept réponses sur dix sont correctes. Sinon, le taux tombe à quelques pour cent ou à peine plus de 10 %.\n\nAucun paramètre du modèle n'a changé. Seule la mémoire externe a été remplacée, et les réponses ont suivi. Un modèle à livre fermé ne dispose pas de ce mécanisme.\n\n### Quelques difficultés\n\n1. **Plus de documents ne donne pas toujours de meilleurs résultats.** Sur NQ, RAG-Sequence progresse quand on augmente le nombre de documents à l'inférence ; RAG-Token atteint son maximum vers dix documents.\n2. **La recherche peut s'effondrer.** Dans des expériences préliminaires de génération d'histoires, l'annexe rapporte que le retriever apprend à renvoyer les mêmes documents quelle que soit l'entrée. Le générateur apprend alors à les ignorer, et le système redevient un BART ordinaire. Les auteurs évoquent un faible besoin de connaissances factuelles ou des réponses trop longues pour fournir des gradients utiles au retriever.\n3. **Wikipédia ne peut pas répondre à tout.** MS-MARCO contient des questions telles que « Quel temps fait-il maintenant à Volcano, en Californie ? ». Pour ces questions peu susceptibles de profiter de la recherche, les auteurs observent que le modèle sélectionne un ensemble fixe de documents.\n\n## Conclusion\n\nCet article associe un générateur préentraîné à une mémoire externe consultable, puis applique la même méthode d'adaptation aux questions-réponses, à la création d'énigmes et à la vérification de faits.\n\nSes résultats les plus convaincants sont les suivants :\n\n1. **Un petit modèle avec mémoire externe bat un modèle à livre fermé bien plus grand.** Sur NQ, RAG-Sequence et ses 626 millions de paramètres atteignent 44,5, contre 34,5 pour les 11 milliards de T5-11B.\n2. **Il n'est pas nécessaire d'annoter le document à rechercher.** Marginaliser sur les documents comme variables latentes permet au retriever d'apprendre à partir de la probabilité de la réponse.\n3. **Remplacer l'index actualise les connaissances.** Passer de l'index 2016 à celui de 2018 change les réponses sur les dirigeants, sans toucher aux paramètres.\n\nDans le RAG actuel, deux idées ont perduré : rechercher avant de générer et pouvoir remplacer la mémoire externe. L'autre moitié, l'entraînement conjoint et la marginalisation sur les documents, apparaît bien moins souvent dans les applications de grands modèles fondées sur la concaténation de prompts. Les modèles sont devenus difficiles à ajuster, et la recherche repose fréquemment sur des embeddings prêts à l'emploi ou un moteur de recherche.\n\nCe sont des évolutions ultérieures à l'article.\n\nLe nom, lui, n'a jamais changé.\n","imageSizes":{"/content/papers/assets/05c7bcd1d2c3f13c0726dfa7180e85f043b7cd64a0c61fa595b954d979a6550e.png":{"width":1122,"height":358},"/content/papers/assets/e4210dd8d6a0578d12df7e28472ad4aec7137a2aa87c895aad1e7044d0bfcdd6.png":{"width":561,"height":375},"/content/papers/assets/bc3d0fd74e0299ec9fc8eae15768959cef1e43472643f9449c1f7002164a42db.png":{"width":1122,"height":210}}}