Parler IA — La fenêtre de contexte : 99,3 % de justesse sur une page, 69,7 % sur un long dossier

La fenêtre de contexte, c’est la quantité de texte qu’une IA peut lire en une seule fois. Un fournisseur qui annonce « 128 000 jetons » décrit une capacité, pas une garantie de qualité sur toute cette longueur. Une étude présentée à l’ICML 2025 a testé treize modèles qui revendiquent tous cette grande capacité, sur des documents de plus en plus longs : dès 32 000 jetons de contexte (déjà un long rapport), onze d’entre eux tombent sous la moitié de leur justesse initiale, et le meilleur passe de 99,3 % de bonnes réponses sur un court extrait à 69,7 % sur un long texte. Plus vous donnez de pages à lire d’un coup, plus le modèle risque d’ignorer ce qui se trouve au milieu.

La question à poser à un fournisseur n’est donc pas « quelle est la taille de votre fenêtre ? » mais « comment la justesse se tient-elle sur mes dossiers les plus longs, et pas seulement sur un extrait de démonstration ? ». Avant de confier à une IA un long dossier d’un seul tenant, faites-la tester sur vos documents réels les plus volumineux et exigez qu’elle les découpe en sections ciblées plutôt que de les traiter d’un seul bloc.

Source : Modarressi et al., « NoLiMa: Long-Context Evaluation Beyond Literal Matching », ICML 2025 (13 modèles testés).