{"notes":[{"id":"model-evaluation/nolima","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"NoLiMa","subtitle":"Lire entre les lignes","author":"Z. Yuan","paperDate":"2025-02-07","publishedOn":"2026-07-30","paperTitle":"NoLiMa: Long-Context Evaluation Beyond Literal Matching","paperUrl":"https://arxiv.org/abs/2502.05167","bibliography":{"title":"NoLiMa: Long-Context Evaluation Beyond Literal Matching","authors":["Ali Modarressi","Hanieh Deilamsalehy","Franck Dernoncourt","Trung Bui","Ryan Rossi","Seunghyun Yoon","Hinrich Schütze"],"url":"https://arxiv.org/abs/2502.05167","pdfUrl":"https://arxiv.org/pdf/2502.05167v3","codeUrl":"https://github.com/adobe-research/NoLiMa","preprint":{"id":"2502.05167","submittedOn":"2025-02-07","url":"https://arxiv.org/abs/2502.05167"},"publication":{"venue":"ICML","year":2025,"kind":"conference","url":"https://proceedings.mlr.press/v267/modarressi25a.html"},"citation":"@misc{modelevaluationnolima2025,\n  title = {{NoLiMa: Long-Context Evaluation Beyond Literal Matching}},\n  author = {Ali Modarressi and Hanieh Deilamsalehy and Franck Dernoncourt and Trung Bui and Ryan Rossi and Seunghyun Yoon and Hinrich Schütze},\n  year = {2025},\n  eprint = {2502.05167},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2502.05167}\n}\n","citationPath":"/content/papers/citations/model-evaluation/nolima.264a4512e69f.bib"},"thumbnail":{"src":"/content/papers/assets/d3917196027c3729a255d140f88c8ddc4cf99d5ea087de73ead2f387a8befb47.png","width":1440,"height":919},"locale":"fr","path":"/content/papers/fr/model-evaluation/nolima.bd99826d2be5.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"une-aiguille-sans-mots-à-faire-correspondre","text":"Une aiguille sans mots à faire correspondre","depth":3},{"id":"nettoyer-le-foin","text":"Nettoyer le foin","depth":3},{"id":"comment-noter-les-réponses-","text":"Comment noter les réponses ?","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"principaux-résultats","text":"Principaux résultats","depth":3},{"id":"deux-étapes-et-un-ordre-inversé-compliquent-la-tâche","text":"Deux étapes et un ordre inversé compliquent la tâche","depth":3},{"id":"un-problème-de-position-ou-de-longueur-","text":"Un problème de position ou de longueur ?","depth":3},{"id":"faire-réfléchir-le-modèle-aide-t-il-","text":"Faire réfléchir le modèle aide-t-il ?","depth":3},{"id":"remettre-les-indices-littéraux","text":"Remettre les indices littéraux","depth":3},{"id":"et-les-modèles-plus-récents-","text":"Et les modèles plus récents ?","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-evaluation/lost-in-the-middle","relation":"referenced","topic":""}]},{"id":"model-evaluation/lost-in-the-middle","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Lost in the Middle","subtitle":"La malédiction du U","author":"Z. Yuan","paperDate":"2023-07-06","publishedOn":"2026-06-09","world":"external/lost-in-the-middle","paperTitle":"Lost in the Middle: How Language Models Use Long Contexts","paperUrl":"https://arxiv.org/abs/2307.03172","bibliography":{"title":"Lost in the Middle: How Language Models Use Long Contexts","authors":["Nelson F. Liu","Kevin Lin","John Hewitt","Ashwin Paranjape","Michele Bevilacqua","Fabio Petroni","Percy Liang"],"url":"https://arxiv.org/abs/2307.03172","pdfUrl":"https://arxiv.org/pdf/2307.03172v3","codeUrl":null,"preprint":{"id":"2307.03172","submittedOn":"2023-07-06","url":"https://arxiv.org/abs/2307.03172"},"publication":{"venue":"Transactions of the Association for Computational Linguistics","year":2024,"kind":"journal","url":"https://aclanthology.org/2024.tacl-1.9/"},"citation":"@misc{modelevaluationlostinthemiddle2023,\n  title = {{Lost in the Middle: How Language Models Use Long Contexts}},\n  author = {Nelson F. Liu and Kevin Lin and John Hewitt and Ashwin Paranjape and Michele Bevilacqua and Fabio Petroni and Percy Liang},\n  year = {2023},\n  eprint = {2307.03172},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2307.03172}\n}\n","citationPath":"/content/papers/citations/model-evaluation/lost-in-the-middle.77681ac150c1.bib"},"thumbnail":{"src":"/content/papers/assets/14c392ed0cd20cff36405d2cccc1e1d2e317e1c84de40c4eae37cde79f4a31e3.png","width":1278,"height":425},"locale":"fr","path":"/content/papers/fr/model-evaluation/lost-in-the-middle.70c8985b6c13.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"questions-réponses-sur-plusieurs-documents","text":"Questions-réponses sur plusieurs documents","depth":3},{"id":"recherche-de-paires-clé-valeur","text":"Recherche de paires clé-valeur","depth":3},{"id":"modèles-évalués","text":"Modèles évalués","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"une-courbe-en-u","text":"Une courbe en U","depth":3},{"id":"les-versions-longues-exploitent-elles-mieux-les-longs-contextes-","text":"Les versions longues exploitent-elles mieux les longs contextes ?","depth":3},{"id":"même-recopier-une-chaîne-peut-poser-problème","text":"Même recopier une chaîne peut poser problème","depth":3},{"id":"doù-vient-ce-comportement-","text":"D'où vient ce comportement ?","depth":3},{"id":"et-si-lon-ajoutait-encore-des-documents-","text":"Et si l'on ajoutait encore des documents ?","depth":3},{"id":"la-suite-de-lhistoire","text":"La suite de l'histoire","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-evaluation/nolima","relation":"citing","topic":""}]}],"text":"Depuis 2024, les présentations de modèles annoncent des fenêtres toujours plus grandes : 128K, 1M, voire 2M tokens.\n\nLe test le plus courant pour montrer qu'un modèle sait réellement lire autant de texte est celui de **l'aiguille dans une botte de foin**, *needle-in-a-haystack* ou NIAH : cacher une phrase dans une masse de texte sans rapport, puis demander ce qu'elle raconte.\n\nDans la version popularisée par Greg Kamradt en 2023, la phrase cachée était :\n\n> The best thing to do in San Francisco is eat a sandwich and sit in Dolores Park on a sunny day.\n\nEt la question :\n\n> What is the most fun thing to do in San Francisco?\n\nVous voyez le problème ?\n\n« San Francisco » apparaît à l'identique dans la question et dans l'aiguille. Le modèle peut retrouver ces mots sans rien comprendre : la réponse se trouve juste à côté.\n\nCet article de la LMU Munich et d'Adobe Research, publié à ICML 2025, pose donc la question suivante : **si l'on retire ces indices littéraux, le modèle retrouve-t-il encore l'aiguille ?**\n\n## Définir le problème\n\nLes auteurs commencent par mesurer le recoupement lexical entre les questions et les passages contenant les réponses dans les évaluations existantes de longs contextes.\n\nIls utilisent la précision ROUGE pour calculer la proportion de mots de la question présents dans le passage pertinent. Plus la valeur est élevée, plus les deux partagent de mots :\n\n| Évaluation | ROUGE-1 | ROUGE-2 | ROUGE-L |\n| --- | ---: | ---: | ---: |\n| Vanilla NIAH | 0,905 | 0,789 | 0,855 |\n| RULER S-NIAH | 0,571 | 0,461 | 0,500 |\n| RULER QA | 0,809 | 0,437 | 0,693 |\n| ∞Bench QA | 0,966 | 0,545 | 0,960 |\n| **NoLiMa** | **0,069** | **0,002** | **0,067** |\n\n*D'après la Table 1 de l'article.*\n\nLe NIAH original atteint 0,905 en ROUGE-1 : neuf mots de la question sur dix se retrouvent dans l'aiguille. Les évaluations de questions-réponses sur plusieurs documents ou sur de longs documents ont aussi des valeurs élevées.\n\nL'argument des auteurs est que l'attention sait très bien retrouver des motifs répétés. Ces recoupements lexicaux pourraient donc faciliter fortement la recherche dans un long contexte. Quelle part des longueurs annoncées repose sur une simple correspondance de mots ?\n\nIls se fixent alors un objectif : une évaluation où **la tâche elle-même est simple, mais où la correspondance littérale n'aide pas du tout**.\n\n## Résoudre le problème\n\n### Une aiguille sans mots à faire correspondre\n\nNoLiMa conserve la structure du NIAH : une aiguille et du foin. La différence se trouve dans la rédaction de l'aiguille et de la question.\n\nVoici une aiguille :\n\n> Actually, Yuki lives next to the Semper Opera House.\n\nEt sa question :\n\n> Which character has been to Dresden?\n\nLa question ne contient ni Yuki ni Semper Opera House ; l'aiguille ne contient pas Dresden. Leur seul lien est une connaissance du monde : **l'opéra Semper se trouve à Dresde, Dresden en anglais.**\n\nLe modèle doit retrouver ce lien pour relier la question à l'aiguille et répondre « Yuki ».\n\nLes auteurs distinguent le mot-clé de la question, $W_q$, ici Dresden, de celui de l'aiguille, $W_n$, ici Semper Opera House.\n\nOn peut ajouter une difficulté et passer à **deux étapes**, ou *two-hop* :\n\n> Which character has been to the state of Saxony?\n\nIl faut alors établir deux liens : l'opéra Semper est à Dresde, et Dresde est en Saxe.\n\nCertaines aiguilles font appel au sens commun plutôt qu'à la géographie. Par exemple : « Then Yuki mentioned that he has been vegan for years. », avec la question « Quel personnage ne peut pas manger de poisson ? »\n\n\n> [!TIP]\n> \n> **Principes de conception des aiguilles et des questions**\n> \n> - **Un lien simple.** Sans le foin, le modèle doit répondre facilement.\n> - **Des noms tirés au hasard.** Ils viennent d'un ensemble diversifié pour limiter les difficultés de tokenisation et les biais démographiques. Les noms déjà présents dans le foin sont exclus.\n> - **Une courte introduction.** Un début comme « Actually, » sépare naturellement l'aiguille du texte précédent.\n> \n> Chaque groupe utilise aussi deux ordres : **par défaut**, le nom arrive en premier, comme « Yuki habite près de l'opéra Semper » ; dans l'ordre **inversé**, le mot-clé vient d'abord, comme « Près de l'opéra Semper habite Yuki ». Il y a cinq groupes et 58 paires question-aiguille au total.\n\n\n### Nettoyer le foin\n\nLe foin provient de dix livres sous licence ouverte. Pour éviter que le modèle ne s'appuie sur une mémorisation de ces ouvrages publics, les auteurs ne les utilisent pas entiers : ils concatènent des extraits de moins de 250 tokens, prélevés aléatoirement dans des livres choisis au hasard.\n\nVient ensuite un nettoyage essentiel. Le foin doit être débarrassé de deux types d'éléments :\n\n1. **Les mots trop proches des mots-clés des questions.** Les auteurs encodent chaque mot du foin avec Contriever, sélectionnent les 20 mots les plus similaires à chaque $W_q$, puis suppriment après examen manuel les phrases contenant ces mots.\n2. **Les contenus qui pourraient servir de réponse.** Ils découpent le foin en passages d'environ 250 tokens et demandent à Llama 3.3 70B, avec chaque question, d'y chercher une réponse. Ils vérifient ensuite manuellement les passages signalés pour décider de les supprimer. Le procédé se répète jusqu'à ce qu'aucune suppression ne soit nécessaire.\n\nSans cela, un personnage du foin pourrait justement avoir visité Dresde, ce qui fausserait l'évaluation.\n\n### Comment noter les réponses ?\n\nÀ chaque longueur, chaque aiguille est insérée à 26 positions régulièrement espacées. Avec cinq foins aléatoires et 58 paires question-aiguille, cela donne 7 540 tests par longueur. Les longueurs vont de 250, 500 et 1K jusqu'à 32K tokens.\n\nToutes les questions demandent un nom de personnage. La réponse est donc correcte si elle contient le bon nom.\n\nDeux indicateurs doivent être bien distingués.\n\n**Le score de base** utilise les trois longueurs les plus courtes : 250, 500 et 1K. Pour chaque paire question-aiguille, on moyenne d'abord les cinq foins, on retient le meilleur des trois scores de longueur, puis on moyenne l'ensemble des paires. Cela mesure la capacité du modèle quand le foin perturbe très peu la tâche.\n\n**La longueur effective** est la plus grande longueur testée à laquelle le score reste au moins égal à 85 % du score de base.\n\nPrenons GPT-4o. Son score de base vaut 99,3, donc le seuil est :\n\n$$\n99.3\\times 0.85\\approx 84.4\n$$\n\nSes résultats par longueur sont :\n\n| Longueur | 1K | 2K | 4K | 8K | 16K | 32K |\n| --- | ---: | ---: | ---: | ---: | ---: | ---: |\n| GPT-4o | 98,1 | 98,0 | 95,7 | 89,2 | 81,6 | 69,7 |\n\n*Extrait de la Table 3 de l'article.*\n\nÀ 8K, ses 89,2 restent au-dessus de 84,4. À 16K, ses 81,6 passent sous le seuil. Sa longueur effective est donc **8K**, pour une capacité annoncée de 128K.\n\nPrendre le score de base propre à chaque modèle aide à séparer la difficulté intrinsèque des questions de la dégradation liée à la longueur. Un modèle déjà faible en contexte court part avec une base plus basse, et donc aussi un seuil plus bas.\n\n## Discussion\n\n### Principaux résultats\n\nLes auteurs testent 13 modèles annonçant au moins 128K tokens :\n\n| Modèle | Longueur annoncée | Longueur effective | Score de base | 32K |\n| --- | ---: | ---: | ---: | ---: |\n| GPT-4o | 128K | 8K | 99,3 | 69,7 |\n| Llama 3.3 70B | 128K | 2K | 97,3 | 42,7 |\n| Llama 3.1 405B | 128K | 2K | 94,7 | 38,0 |\n| Llama 3.1 70B | 128K | 2K | 94,5 | 43,2 |\n| Gemini 1.5 Pro | 2M | 2K | 92,6 | 48,2 |\n| Jamba 1.5 Mini | 256K | <1K | 92,4 | 43,6 |\n| Command R+ | 128K | <1K | 90,9 | 7,4 |\n| Gemini 2.0 Flash | 1M | 4K | 89,4 | 41,0 |\n| Mistral Large 2 | 128K | 2K | 87,9 | 18,8 |\n| Claude 3.5 Sonnet | 200K | 4K | 87,5 | 29,8 |\n| Gemini 1.5 Flash | 1M | <1K | 84,7 | 28,6 |\n| GPT-4o mini | 128K | <1K | 84,8 | 13,7 |\n| Llama 3.1 8B | 128K | 1K | 76,7 | 14,2 |\n\n*D'après la Table 3. Le tableau complet donne aussi les scores de 1K à 16K.*\n\nCommençons par le score de base : la plupart des modèles obtiennent entre 80 et 99 en contexte court. Les aiguilles elles-mêmes sont donc assez faciles.\n\nRegardons ensuite la longueur effective. Hormis les 8K de GPT-4o, tous restent à 4K ou moins ; beaucoup n'atteignent que 2K, voire moins de 1K.\n\nSur un même axe logarithmique, l'écart entre longueur annoncée et longueur effective saute aux yeux :\n\n[![Comparaison des longueurs annoncées et effectives NoLiMa de 13 modèles ; les annonces portent généralement sur au moins 128K, tandis que les longueurs effectives sont le plus souvent de 2K ou moins](/content/papers/assets/885c444dfdd766884fda4712c93802ead3fc692c624277700b52aa526d24f129.png)](/content/papers/assets/885c444dfdd766884fda4712c93802ead3fc692c624277700b52aa526d24f129.png)\n\n*Graphique créé pour cette note à partir de la Table 3, sans reprendre une image de l'article. Les points bleus indiquent la longueur effective, les gris la longueur annoncée. Les points creux indiquent une longueur effective inférieure à 1K. Cliquer pour agrandir.*\n\nEnfin, à 32K, 11 modèles sur 13 passent sous la moitié de leur propre score de base. Seuls GPT-4o et Gemini 1.5 Pro restent au-dessus de cette moitié.\n\nLes auteurs comparent aussi un même modèle entre évaluations. Llama 3.1 70B atteint une longueur effective de 16K sur BABILong et de 32K sur RULER. Sur NoLiMa, il ne reste que 2K.\n\nAutre observation : un bon score de base ne garantit pas une meilleure tenue en longueur. Claude 3.5 Sonnet et Gemini 2.0 Flash ont un score de base inférieur à celui de Llama 3.3 70B, mais une longueur effective de 4K contre ses 2K. À 4K, leurs scores bruts dépassent également ceux de certains modèles mieux classés au départ.\n\n### Deux étapes et un ordre inversé compliquent la tâche\n\nLes auteurs étudient plus précisément deux variables avec GPT-4o et Llama 3.3 70B.\n\n**Le nombre d'étapes.** À longueur identique, les questions à deux étapes sont plus difficiles que celles à une seule étape, et l'écart se creuse avec la longueur. Jusqu'à 4K, GPT-4o gère encore les deux types.\n\n**L'ordre des mots.** « Près de l'opéra Semper habite Yuki » est plus difficile que « Yuki habite près de l'opéra Semper ».\n\nLes auteurs proposent une explication fondée sur l'attention causale du décodeur. Dans l'ordre par défaut, le nom vient d'abord. Lorsque le modèle lit « opéra Semper », cette position porte déjà l'information sur Yuki. Relier Dresden à l'opéra permet alors de retrouver Yuki. Dans l'ordre inversé, Yuki n'est pas encore apparu au moment où le modèle lit l'opéra Semper. Atteindre cette position ne donne donc pas le nom ; il faut s'appuyer sur le signal plus faible du côté du nom. Les auteurs précisent qu'une analyse plus poussée du mécanisme dépasse le cadre de l'article.\n\n### Un problème de position ou de longueur ?\n\nLes lecteurs de [**Lost in the Middle**](https://arxiv.org/abs/2307.03172) se demanderont peut-être si les scores baissent simplement parce que l'aiguille tombe au milieu.\n\nLes auteurs réalisent deux balayages avec Llama 3.3 70B.\n\nLe premier couvre **tout le contexte**, de 0 % à 100 %. Les questions à une étape présentent bien le phénomène connu : moins de réussite au milieu. Mais, pour les questions à deux étapes, tout change : lorsque le contexte s'allonge, toute la courbe descend, y compris au début et à la fin.\n\nLe second protocole, plus astucieux, **aligne les derniers 2K tokens**. Que le contexte fasse 4K ou 32K au total, l'aiguille occupe une position fixe dans les 2K tokens précédant la fin.\n\nLa distance entre aiguille et question reste ainsi identique malgré la longueur totale. Llama 3.x utilise RoPE, un encodage de position relative fondé sur la distance entre tokens. Si l'encodage de position expliquait le problème, les résultats devraient être proches à distance égale.\n\nPour les questions à deux étapes, les courbes sont assez plates dans ces derniers 2K tokens : la position change peu les scores. Mais chaque augmentation de longueur totale abaisse toute la courbe.\n\nÀ distance constante, les auteurs attribuent donc la principale limite à l'allongement du contexte lui-même : avec davantage de tokens à examiner et sans indices littéraux, l'attention peine davantage à retrouver les faits pertinents.\n\n### Faire réfléchir le modèle aide-t-il ?\n\nPuisqu'il faut établir un lien, pourquoi ne pas demander au modèle d'écrire d'abord son raisonnement, en Chain-of-Thought, ou CoT ?\n\nSur Llama 3.3 70B, les auteurs comparent une réponse directe à un raisonnement de trois phrases au maximum suivi de la réponse :\n\n| Longueur | 4K | 8K | 16K | 32K |\n| --- | ---: | ---: | ---: | ---: |\n| Une étape, réponse directe | 90,3 | 84,1 | 73,2 | 56,2 |\n| Une étape, CoT | 95,6 | 91,1 | 82,6 | 60,6 |\n| Deux étapes, réponse directe | 70,7 | 57,4 | 42,7 | 25,9 |\n| Deux étapes, CoT | 82,4 | 70,1 | 56,7 | 34,3 |\n\n*D'après la Table 4 de l'article.*\n\nLe CoT aide, avec un gain plus important sur les questions à deux étapes. Celles-ci ne rejoignent toutefois qu'approximativement le niveau des questions à une étape en réponse directe. À partir de 16K, les résultats restent faibles.\n\nSelon les auteurs, ces questions ne contiennent qu'un indice et se décomposent difficilement en opérations plus simples. Le passage difficile consiste à associer Dresde à l'opéra Semper ; c'est précisément cette association qui se perd dans le long contexte.\n\nLes auteurs sélectionnent aussi les dix paires les plus difficiles pour former NoLiMa-Hard et évaluer des modèles de raisonnement. GPT-o1, GPT-o3 Mini et DeepSeek R1-Distill-Llama-70B obtiennent tous un score de base presque parfait, mais passent tous sous 50 % à 32K : 31,1 pour GPT-o1, 18,9 pour o3 Mini et 20,7 pour le modèle distillé de R1.\n\n### Remettre les indices littéraux\n\nUne dernière ablation vérifie l'hypothèse centrale : que se passe-t-il si les indices littéraux reviennent ?\n\nLes auteurs préparent deux variantes :\n\n- **Direct** : la question nomme directement le mot-clé de l'aiguille, comme dans le NIAH original.\n- **Multiple Choice** : la question reste inchangée, mais propose quatre noms, dont celui de l'aiguille et trois issus du foin. Un lien littéral réapparaît alors entre question et aiguille : le nom du personnage.\n\n| Configuration | 8K | 16K | 32K |\n| --- | ---: | ---: | ---: |\n| Direct | 98,3 | 98,5 | 98,5 |\n| Une étape | 84,1 | 73,2 | 56,2 |\n| Une étape + choix proposés | 98,7 | 97,4 | 93,1 |\n| Deux étapes | 57,4 | 42,7 | 25,9 |\n| Deux étapes + choix proposés | 96,3 | 94,6 | 87,2 |\n\n*D'après la Table 6, avec Llama 3.3 70B.*\n\nLe résultat est très net. Direct reste à 98,5 à 32K. Ajouter les choix aux questions à deux étapes fait passer le score à 32K de 25,9 à 87,2.\n\nLes indices littéraux peuvent aussi piéger le modèle. Les auteurs insèrent dans le foin une phrase contenant $W_q$, par exemple Dresden, mais sans rapport avec l'aiguille ni avec la question. Elle ressemble lexicalement davantage à la réponse que la vraie aiguille. Avec ce distracteur, la longueur effective de GPT-4o tombe de 8K à 1K ; Llama 3.3 70B se dégrade encore davantage.\n\n### Et les modèles plus récents ?\n\nL'annexe de la version v3 ajoute des modèles plus récents et étend certains tests à 64K et 128K. Pour maîtriser le coût des API, le nombre de positions passe de 26 à 11 par longueur.\n\nGPT-4.1 annonce 1M, atteint une longueur effective de 16K et garde un score de 64,7 à 128K. GPT-4o obtient 56,0 à 128K ; Gemini 2.0 Flash tombe à 16,4. Llama 4 Scout annonce 10M, pour une longueur effective de seulement 1K.\n\nLa note de bas de page en première page est explicite : les nouveaux modèles progressent en long contexte, mais la conclusion principale tient toujours. Les scores commencent à chuter rapidement bien avant la longueur annoncée.\n\n\n> [!NOTE]\n> \n> **Un détail à connaître pour reproduire l'évaluation**\n> \n> Le [**code**](https://github.com/adobe-research/NoLiMa) et les données sont publics. Un utilisateur a signalé sur GitHub que certains tests via Azure OpenAI étaient interrompus par le filtre de contenu par défaut, qui les classait comme violents. L'un des auteurs, Franck Dernoncourt, a répondu que les filtres avaient été désactivés pendant leur évaluation.\n> \n> Dans une reproduction, une question bloquée par un mécanisme de sécurité compte aussi comme une erreur. Il faut donc vérifier d'où vient la perte de score.\n\n\n## Conclusion\n\nNoLiMa retire le raccourci le plus facile à négliger dans le NIAH : question et aiguille ne partagent pas de mots, seulement une association simple.\n\nDans cette configuration :\n\n1. **Longueur annoncée et longueur effective divergent fortement.** Parmi 13 modèles, seul GPT-4o atteint 8K de longueur effective. À 32K, 11 modèles passent sous la moitié de leur score de base.\n2. **La difficulté vient de l'association combinée à la longueur.** Pour les questions à deux étapes, toute la courbe descend, même aux extrémités. L'expérience à distance alignée oriente l'explication vers la longueur du contexte, au-delà de la seule position.\n3. **CoT et modèles de raisonnement aident, sans résoudre entièrement le problème.** Sur NoLiMa-Hard, les trois modèles de raisonnement restent sous 50 % à 32K.\n4. **Les indices littéraux ont un effet majeur.** Des choix de réponse font monter le score à deux étapes de 25,9 à 87,2 à 32K. Les mêmes mots utilisés comme distracteurs réduisent en revanche la longueur effective de GPT-4o à 1K.\n\nLes auteurs soulignent aussi une conséquence directe pour la recherche et le RAG : le document contenant réellement la réponse peut employer un vocabulaire totalement différent de celui de la question. Un document lexicalement plus proche, mais sans réponse, peut au contraire égarer le modèle.\n\nLes modèles capables d'accueillir 128K sont nombreux. Ceux qui retrouvent encore la réponse lorsque l'on reformule la question le sont beaucoup moins.\n","imageSizes":{"/content/papers/assets/885c444dfdd766884fda4712c93802ead3fc692c624277700b52aa526d24f129.png":{"width":1440,"height":919}}}