{"notes":[{"id":"model-evaluation/lost-in-the-middle","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Lost in the Middle","subtitle":"La malédiction du U","author":"Z. Yuan","paperDate":"2023-07-06","publishedOn":"2026-06-09","world":"external/lost-in-the-middle","paperTitle":"Lost in the Middle: How Language Models Use Long Contexts","paperUrl":"https://arxiv.org/abs/2307.03172","bibliography":{"title":"Lost in the Middle: How Language Models Use Long Contexts","authors":["Nelson F. Liu","Kevin Lin","John Hewitt","Ashwin Paranjape","Michele Bevilacqua","Fabio Petroni","Percy Liang"],"url":"https://arxiv.org/abs/2307.03172","pdfUrl":"https://arxiv.org/pdf/2307.03172v3","codeUrl":null,"preprint":{"id":"2307.03172","submittedOn":"2023-07-06","url":"https://arxiv.org/abs/2307.03172"},"publication":{"venue":"Transactions of the Association for Computational Linguistics","year":2024,"kind":"journal","url":"https://aclanthology.org/2024.tacl-1.9/"},"citation":"@misc{modelevaluationlostinthemiddle2023,\n  title = {{Lost in the Middle: How Language Models Use Long Contexts}},\n  author = {Nelson F. Liu and Kevin Lin and John Hewitt and Ashwin Paranjape and Michele Bevilacqua and Fabio Petroni and Percy Liang},\n  year = {2023},\n  eprint = {2307.03172},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2307.03172}\n}\n","citationPath":"/content/papers/citations/model-evaluation/lost-in-the-middle.77681ac150c1.bib"},"thumbnail":{"src":"/content/papers/assets/14c392ed0cd20cff36405d2cccc1e1d2e317e1c84de40c4eae37cde79f4a31e3.png","width":1278,"height":425},"locale":"fr","path":"/content/papers/fr/model-evaluation/lost-in-the-middle.70c8985b6c13.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"questions-réponses-sur-plusieurs-documents","text":"Questions-réponses sur plusieurs documents","depth":3},{"id":"recherche-de-paires-clé-valeur","text":"Recherche de paires clé-valeur","depth":3},{"id":"modèles-évalués","text":"Modèles évalués","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"une-courbe-en-u","text":"Une courbe en U","depth":3},{"id":"les-versions-longues-exploitent-elles-mieux-les-longs-contextes-","text":"Les versions longues exploitent-elles mieux les longs contextes ?","depth":3},{"id":"même-recopier-une-chaîne-peut-poser-problème","text":"Même recopier une chaîne peut poser problème","depth":3},{"id":"doù-vient-ce-comportement-","text":"D'où vient ce comportement ?","depth":3},{"id":"et-si-lon-ajoutait-encore-des-documents-","text":"Et si l'on ajoutait encore des documents ?","depth":3},{"id":"la-suite-de-lhistoire","text":"La suite de l'histoire","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-evaluation/nolima","relation":"citing","topic":""}]},{"id":"model-evaluation/nolima","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"NoLiMa","subtitle":"Lire entre les lignes","author":"Z. Yuan","paperDate":"2025-02-07","publishedOn":"2026-07-30","paperTitle":"NoLiMa: Long-Context Evaluation Beyond Literal Matching","paperUrl":"https://arxiv.org/abs/2502.05167","bibliography":{"title":"NoLiMa: Long-Context Evaluation Beyond Literal Matching","authors":["Ali Modarressi","Hanieh Deilamsalehy","Franck Dernoncourt","Trung Bui","Ryan Rossi","Seunghyun Yoon","Hinrich Schütze"],"url":"https://arxiv.org/abs/2502.05167","pdfUrl":"https://arxiv.org/pdf/2502.05167v3","codeUrl":"https://github.com/adobe-research/NoLiMa","preprint":{"id":"2502.05167","submittedOn":"2025-02-07","url":"https://arxiv.org/abs/2502.05167"},"publication":{"venue":"ICML","year":2025,"kind":"conference","url":"https://proceedings.mlr.press/v267/modarressi25a.html"},"citation":"@misc{modelevaluationnolima2025,\n  title = {{NoLiMa: Long-Context Evaluation Beyond Literal Matching}},\n  author = {Ali Modarressi and Hanieh Deilamsalehy and Franck Dernoncourt and Trung Bui and Ryan Rossi and Seunghyun Yoon and Hinrich Schütze},\n  year = {2025},\n  eprint = {2502.05167},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2502.05167}\n}\n","citationPath":"/content/papers/citations/model-evaluation/nolima.264a4512e69f.bib"},"thumbnail":{"src":"/content/papers/assets/d3917196027c3729a255d140f88c8ddc4cf99d5ea087de73ead2f387a8befb47.png","width":1440,"height":919},"locale":"fr","path":"/content/papers/fr/model-evaluation/nolima.bd99826d2be5.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"une-aiguille-sans-mots-à-faire-correspondre","text":"Une aiguille sans mots à faire correspondre","depth":3},{"id":"nettoyer-le-foin","text":"Nettoyer le foin","depth":3},{"id":"comment-noter-les-réponses-","text":"Comment noter les réponses ?","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"principaux-résultats","text":"Principaux résultats","depth":3},{"id":"deux-étapes-et-un-ordre-inversé-compliquent-la-tâche","text":"Deux étapes et un ordre inversé compliquent la tâche","depth":3},{"id":"un-problème-de-position-ou-de-longueur-","text":"Un problème de position ou de longueur ?","depth":3},{"id":"faire-réfléchir-le-modèle-aide-t-il-","text":"Faire réfléchir le modèle aide-t-il ?","depth":3},{"id":"remettre-les-indices-littéraux","text":"Remettre les indices littéraux","depth":3},{"id":"et-les-modèles-plus-récents-","text":"Et les modèles plus récents ?","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-evaluation/lost-in-the-middle","relation":"referenced","topic":""}]}],"text":"En 2023, les fenêtres de contexte des modèles de langage ne cessaient de s'allonger.\n\nGPT-3.5-Turbo sortait en version 16K, Claude en version 100K, et la communauté open source s'affairait à étendre les 2 048 tokens de LLaMA à 16K. Les chiffres publicitaires grossissaient, et une idée venait assez naturellement : puisqu'il reste de la place, autant ajouter des documents.\n\nMais pouvoir faire entrer une information et savoir l'utiliser sont deux choses distinctes.\n\nUn document placé au début du prompt a-t-il autant de chances d'être exploité que le même document en dixième position ?\n\nCet article de Stanford, de l'UC Berkeley et de Samaya AI, publié ensuite dans TACL, mesure précisément cela. Le résultat dessine un U : le modèle répond le mieux lorsque la réponse est au début ou à la fin ; au milieu, ses résultats chutent nettement.\n\n## Définir le problème\n\nLa question des auteurs est simple :\n\n- **Un modèle de langage peut-il exploiter de façon fiable une information située n'importe où dans un long contexte ?**\n\nSi oui, déplacer l'information pertinente du premier au dixième document devrait à peine changer le résultat.\n\nCette idée fournit un protocole expérimental particulièrement clair. On garde la question et la réponse, et on ne modifie que deux éléments :\n\n1. **La position de l'information pertinente.**\n2. **La longueur du contexte.**\n\nTout le reste reste fixe. Il suffit alors d'observer les variations de performance.\n\n## Résoudre le problème\n\nIl s'agit d'un article d'évaluation. Ici, « résoudre » consiste à concevoir des expériences qui isolent l'effet de position. Les auteurs préparent deux tâches : la première ressemble à un usage réel du RAG ; la seconde retire autant que possible la sémantique pour ne conserver que la recherche d'une chaîne identique.\n\n### Questions-réponses sur plusieurs documents\n\nLa première tâche reproduit la recherche générative courante à l'époque. Le modèle reçoit une question et $k$ documents. **Un seul** contient la réponse ; les $k-1$ autres servent de distracteurs.\n\nL'entrée ressemble à ceci, d'après la Figure 2 de l'article, avec quelques passages omis :\n\n```text\nWrite a high-quality answer for the given question using only the provided search\nresults (some of which might be irrelevant).\n\nDocument [1](Title: Asian Americans in science and technology) Prize in physics for\ndiscovery of the subatomic particle J/ψ. Subrahmanyan Chandrasekhar shared...\nDocument [2](Title: List of Nobel laureates in Physics) The first Nobel Prize in\nPhysics was awarded in 1901 to Wilhelm Conrad Röntgen, of Germany, who received...\nDocument [3](Title: Scientist) and pursued through a unique method, was essentially\nin place. Ramón y Cajal won the Nobel Prize in 1906 for his remarkable...\n\nQuestion: who got the first nobel prize in physics\nAnswer:\n```\n\nLa bonne réponse est Wilhelm Conrad Röntgen, cachée dans le Document [2].\n\nLes questions proviennent de NaturalQuestions-Open : de vraies requêtes Google, accompagnées de réponses annotées manuellement dans Wikipédia. Les auteurs retiennent uniquement les 2 655 questions dont la réponse correspond à un paragraphe entier.\n\nLes distracteurs ne sont pas choisis au hasard. Le moteur Contriever recherche les paragraphes de Wikipédia **les plus pertinents pour la question, mais dépourvus de réponse**, puis les classe par pertinence. Tous ressemblent à des candidats crédibles. Le modèle doit réellement les lire pour faire la différence.\n\nOn peut ensuite faire varier les paramètres :\n\n- **La position** : placer successivement le document contenant la réponse en première, cinquième, dixième position, etc. Le contenu reste exactement le même ; seul l'ordre change.\n- **La longueur** : passer de 9 à 19, puis 29 distracteurs, soit 10, 20 ou 30 documents au total, environ 2K, 4K ou 6K tokens.\n\nLe critère de correction est souple : dès que la sortie du modèle contient l'une des réponses de référence, elle compte comme correcte.\n\n\n> [!TIP]\n> \n> **Deux repères supplémentaires**\n> \n> Pour interpréter les scores, les auteurs mesurent aussi deux références :\n> \n> - **Closed-book** : aucun document ; le modèle répond uniquement avec les connaissances qu'il a mémorisées.\n> - **Oracle** : seul le document qui contient la réponse est fourni.\n> \n> Si le score obtenu avec 20 documents passe sous celui du mode closed-book, les documents ont fini par embrouiller le modèle au lieu de l'aider.\n\n\n### Recherche de paires clé-valeur\n\nLa deuxième tâche retire la sémantique pour garder l'opération la plus élémentaire : trouver.\n\nOn fournit au modèle un objet JSON contenant $k$ paires clé-valeur. Chaque clé et chaque valeur est un UUID aléatoire. On lui donne ensuite une clé et on lui demande la valeur correspondante :\n\n```text\nExtract the value corresponding to the specified key in the JSON object below.\n\nJSON data:\n{\"2a8d601d-1d69-4e64-9f90-8ad825a74195\": \"bb3ba2a5-7de8-434b-a86e-a88bb9fa7289\",\n \"a54e2eed-e625-4570-9f74-3624e77d6684\": \"d1ff29be-4e2a-4208-a182-0cea716be3d4\",\n \"9f4a92b9-5f69-4725-ba1e-403f08dea695\": \"703a7ce5-f17f-4e6d-b895-5836ba5ec71c\",\n ...}\n\nKey: \"9f4a92b9-5f69-4725-ba1e-403f08dea695\"\nCorresponding value:\n```\n\nIl suffit de retrouver une chaîne exactement identique dans le contexte, puis de recopier celle qui suit. Aucune compréhension du sens n'est nécessaire. Les auteurs utilisent 75, 140 et 300 paires, soit environ 4K, 8K et 16K tokens, avec 500 questions pour chaque configuration.\n\nUn échec à cette tâche situe donc le problème au niveau de la recherche elle-même, avant même la compréhension d'un document.\n\n### Modèles évalués\n\nLes auteurs testent six modèles, dont deux paires constituées d'une version courte et d'une version étendue du même modèle :\n\n| Modèle | Contexte maximal | Description |\n| --- | --- | --- |\n| GPT-3.5-Turbo | 4K | API OpenAI |\n| GPT-3.5-Turbo (16K) | 16K | Version étendue du même modèle |\n| Claude-1.3 | 8K | API Anthropic |\n| Claude-1.3 (100K) | 100K | Version étendue du même modèle |\n| MPT-30B-Instruct | 8K | Open source, encodage de position ALiBi |\n| LongChat-13B (16K) | 16K | Open source, extension de LLaMA-13B de 2 048 à 16 384 tokens |\n\nLes modèles OpenAI utilisent la version 0613. Tous les modèles emploient un décodage glouton : à chaque étape, ils choisissent le token le plus probable.\n\n## Discussion\n\n### Une courbe en U\n\n[![Précision selon la position du document contenant la réponse dans la tâche multidocument ; la plupart des modèles dessinent un U avec 10, 20 ou 30 documents](/content/papers/assets/14c392ed0cd20cff36405d2cccc1e1d2e317e1c84de40c4eae37cde79f4a31e3.png)](/content/papers/assets/14c392ed0cd20cff36405d2cccc1e1d2e317e1c84de40c4eae37cde79f4a31e3.png)\n\n*Figure 5 de l'article, extraite de la [**page 5 du PDF v3**](https://arxiv.org/pdf/2307.03172v3#page=5). De gauche à droite : 10, 20 et 30 documents. L'axe horizontal indique la position du document contenant la réponse ; la gauche correspond au début du contexte.*\n\nRegardons d'abord le panneau central : 20 documents, environ 4K tokens.\n\nLa courbe de GPT-3.5-Turbo part en haut à gauche. Quand la réponse est dans le premier document, la précision avoisine 76 %. En déplaçant ce document vers la droite, elle descend jusqu'au creux situé autour de la dixième position, puis remonte partiellement à la vingtième.\n\nLes valeurs brutes de l'annexe rendent le phénomène encore plus clair :\n\n| Position du document contenant la réponse | 1re | 5e | 10e | 15e | 20e |\n| --- | ---: | ---: | ---: | ---: | ---: |\n| GPT-3.5-Turbo | 75,8 % | 57,2 % | 53,8 % | 55,4 % | 63,2 % |\n\n*Valeurs tirées de la Table 6 de l'article, annexe G.2.*\n\nComparons avec les deux repères précédents : GPT-3.5-Turbo atteint 56,1 % en closed-book et 88,3 % en oracle.\n\nEn dixième position, ses 53,8 % passent donc sous le score obtenu sans aucun document.\n\nOn lui donne 20 documents, dont un contient noir sur blanc la réponse, et il fait moins bien que si on ne lui avait rien donné.\n\nVoilà le « lost in the middle » du titre. Les auteurs nomment **biais de primauté (primacy bias)** l'avantage du début, et **biais de récence (recency bias)** celui de la fin.\n\n\n> [!NOTE]\n> \n> **On observe un phénomène similaire chez l'être humain**\n> \n> En psychologie, l'« effet de position sérielle » désigne le phénomène suivant : lorsqu'une personne mémorise une liste puis la rappelle librement, elle se souvient plus facilement des premiers et des derniers éléments. Les auteurs évoquent ce rapprochement dans les travaux connexes.\n> \n> Ils trouvent toutefois ce résultat quelque peu surprenant chez un Transformer. Par construction, l'auto-attention peut accéder directement à un token situé n'importe où ; aucune contrainte technique n'impose que les tokens éloignés soient plus difficiles à atteindre.\n\n\n### Les versions longues exploitent-elles mieux les longs contextes ?\n\nGPT-3.5-Turbo existe en versions 4K et 16K. Les configurations à 10 et à 20 documents tiennent dans les deux.\n\nLeurs courbes se superposent presque. Avec 20 documents et la réponse en première position, les scores sont de 75,8 % et 75,7 % ; en dixième position, de 53,8 % et 54,1 %. Même constat pour Claude-1.3 et sa version 100K.\n\nLes auteurs concluent que **les versions à contexte étendu utilisent les contenus communs à peu près comme les versions courtes**. Elles peuvent accueillir davantage d'informations, mais exploitent de façon similaire celles qui tiennent déjà dans les deux fenêtres.\n\n### Même recopier une chaîne peut poser problème\n\n[![Précision de la recherche clé-valeur selon la position de la clé recherchée, pour 75, 140 ou 300 paires](/content/papers/assets/d5c6cdc14e580fa77e96f56fa8e44ce6e73030510903d8cd53891982597ae037.png)](/content/papers/assets/d5c6cdc14e580fa77e96f56fa8e44ce6e73030510903d8cd53891982597ae037.png)\n\n*Figure 7 de l'article, extraite de la [**page 7 du PDF v3**](https://arxiv.org/pdf/2307.03172v3#page=7). De gauche à droite : 75, 140 et 300 paires clé-valeur. L'axe horizontal indique la position de la clé recherchée.*\n\nLes résultats de la recherche clé-valeur se divisent en deux groupes.\n\nClaude-1.3 et Claude-1.3 (100K) restent proches de 100 % dans presque toutes les configurations, avec des courbes pratiquement plates tout en haut.\n\nLes autres modèles s'en sortent moins bien. Dans le panneau de droite, avec 300 paires, GPT-3.5-Turbo (16K) frôle le score parfait au début et à la fin, mais tombe à 45,6 % vers la deux-centième paire. La tâche exige uniquement une correspondance exacte de chaînes ; le milieu reste pourtant un piège.\n\nAvec 140 paires, LongChat-13B (16K) présente une courbe plus particulière : sa première moitié est la plus mauvaise. En examinant les sorties, les auteurs constatent que, lorsque la clé cible est au début, le modèle a tendance à écrire du code pour la « rechercher », au lieu de recopier directement sa valeur.\n\n### D'où vient ce comportement ?\n\nLes auteurs mènent plusieurs analyses préliminaires.\n\n1. **L'architecture du modèle.** Les modèles open source évalués sont tous decoder-only : chaque token ne voit que ce qui le précède. Les auteurs testent aussi deux modèles encoder-decoder, Flan-T5-XXL et Flan-UL2. Dans la limite des 2 048 tokens utilisés à l'entraînement de Flan-UL2, l'écart entre la meilleure et la pire position n'est que de 1,9 %. Dès que l'entrée dépasse cette longueur, le U réapparaît. Les auteurs avancent qu'un encodeur bidirectionnel permet à chaque document de « voir » ceux qui le suivent, ce qui pourrait faciliter l'identification du document important.\n\n2. **Placer aussi la question au début.** Un modèle decoder-only n'a pas encore vu la question lorsqu'il lit les documents, puisque celle-ci vient à la fin. Que se passe-t-il si on la répète avant les documents ? La recherche clé-valeur devient presque parfaite : GPT-3.5-Turbo (16K) atteint 100 % avec 300 paires, contre un minimum de 45,6 % auparavant. En revanche, les résultats en questions-réponses multidocuments changent à peine.\n\n3. **L'ajustement sur instructions.** Les données d'instruction placent généralement la description de la tâche au début. Le modèle apprendrait-il ainsi à privilégier cette position ? Les auteurs comparent MPT-30B avant et après cet ajustement : les deux versions dessinent un U. L'ajustement réduit même l'écart entre la meilleure et la pire position, de presque 10 % à environ 4 %.\n\n4. **La taille du modèle.** Dans les expériences de l'annexe sur Llama-2, le modèle 7B présente seulement un biais de récence ; le U complet apparaît avec les versions 13B et 70B.\n\nD'autres vérifications écartent plusieurs explications possibles. Remplacer les distracteurs par des paragraphes Wikipédia aléatoires améliore les scores globaux, mais conserve le U. Préciser dans l'instruction que les résultats sont présentés dans un ordre aléatoire, puis mélanger les distracteurs, conduit à la même tendance. GPT-4 surpasse tous les modèles sur un sous-ensemble de 500 questions, tout en gardant lui aussi une courbe en U.\n\n### Et si l'on ajoutait encore des documents ?\n\nPour finir, les auteurs reviennent à une configuration RAG réelle : Contriever récupère $k$ documents Wikipédia, tous insérés dans le prompt. Cette fois, il peut n'y avoir aucun document contenant la réponse, ou plusieurs ; la contrainte d'une réponse dans un seul document est levée.\n\n[![Quand le nombre de documents augmente, le rappel de Contriever continue de progresser, tandis que la précision des modèles atteint rapidement un plateau](/content/papers/assets/e49b7762340b5f14544176911003bf9bd877ecc9933dcaed2d30153d1a280c02.png)](/content/papers/assets/e49b7762340b5f14544176911003bf9bd877ecc9933dcaed2d30153d1a280c02.png)\n\n*Figure 11 de l'article, extraite de la [**page 10 du PDF v3**](https://arxiv.org/pdf/2307.03172v3#page=10). La courbe orange en pointillés représente le rappel du moteur de recherche ; les autres, la précision des modèles.*\n\nLa courbe orange mesure le rappel : la proportion de questions pour lesquelles au moins l'un des $k$ premiers documents contient la réponse. Entre 5 et 50 documents, elle monte continuellement jusqu'à près de 90.\n\nLes courbes de précision des modèles, en dessous, deviennent presque plates au-delà d'environ 20 documents. Passer de 20 à 50 n'ajoute qu'environ 1,5 % à GPT-3.5-Turbo et 1 % à Claude-1.3. Pourtant, la longueur de l'entrée fait plus que doubler, avec une hausse de la latence et du coût.\n\nLe moteur trouve l'information. Le modèle ne l'exploite pas.\n\nLes auteurs proposent donc deux pistes : **reclasser** les documents pertinents près du début, ou **en récupérer moins** lorsque la situation s'y prête.\n\n### La suite de l'histoire\n\nDans les mois qui suivent cet article, l'évaluation des longs contextes devient un sujet très animé.\n\nEn novembre 2023, Greg Kamradt popularise un test de l'« aiguille dans une botte de foin » : glisser une phrase complètement étrangère au reste, par exemple « Ce qu'il y a de mieux à San Francisco, c'est manger un sandwich assis à Dolores Park par beau temps », au milieu de nombreux essais de Paul Graham. Puis demander au modèle ce qu'il y a de mieux à faire à San Francisco.\n\nL'esprit du test ressemble beaucoup à la recherche clé-valeur de cet article. Dans son [**explication de décembre 2023**](https://claude.com/blog/claude-2-1-prompting), Anthropic indique toutefois qu'une partie des erreurs de Claude 2.1 vient d'un comportement appris : s'abstenir lorsque les documents apportent trop peu d'éléments. Face à cette phrase incongrue, le modèle répond souvent que les documents ne donnent pas de réponse explicite. Préremplir le début de sa réponse avec « Here is the most relevant sentence in the context: » fait passer le score du test initial de 27 % à 98 %.\n\nUn score faible peut donc mêler plusieurs causes : position de l'information, habitudes de réponse du modèle et formulation du prompt. C'est précisément pour isoler l'effet de position que l'article combine les références closed-book et oracle avec des distracteurs et des ordres aléatoires.\n\n## Conclusion\n\nEn contrôlant la position et la longueur, cet article mesure une faiblesse dans l'exploitation des longs contextes :\n\n1. **Les résultats chutent lorsque l'information pertinente est au milieu.** Avec 20 documents, GPT-3.5-Turbo passe de 75,8 % au début à 53,8 % au milieu, sous les 56,1 % obtenus sans document.\n2. **Les versions à contexte étendu exploitent de façon similaire les contenus qui tiennent dans les deux fenêtres.** Les courbes de GPT-3.5-Turbo 4K et 16K se superposent presque.\n3. **Même une simple correspondance de chaînes est touchée.** Avec 300 paires clé-valeur, la précision de GPT-3.5-Turbo (16K) tombe à 45,6 % au milieu.\n4. **Le bénéfice des documents supplémentaires sature rapidement.** Passer de 20 à 50 documents n'ajoute que 1 % à 1,5 % de précision.\n\nCes résultats concernent les modèles de 2023. Les auteurs en tirent un critère d'évaluation : pour affirmer qu'un modèle exploite les longs contextes de façon fiable, il faut montrer que son score **dépend très peu de la position de l'information**, avec un faible écart entre la meilleure et la pire position.\n\nPour qui construit un système RAG, la leçon pratique est que la position des documents récupérés et leur nombre influencent eux aussi la réponse.\n\nQuant à savoir si les modèles actuels se perdent encore au milieu, il faudra refaire la mesure avec eux.\n","imageSizes":{"/content/papers/assets/14c392ed0cd20cff36405d2cccc1e1d2e317e1c84de40c4eae37cde79f4a31e3.png":{"width":1278,"height":425},"/content/papers/assets/d5c6cdc14e580fa77e96f56fa8e44ce6e73030510903d8cd53891982597ae037.png":{"width":1278,"height":425},"/content/papers/assets/e49b7762340b5f14544176911003bf9bd877ecc9933dcaed2d30153d1a280c02.png":{"width":644,"height":500}}}