Parler IA — Les évaluations (« evals ») : ce qui prouve qu'une IA tient, au-delà de la démo

Une évaluation (« eval »), c'est un jeu de cas de test représentatifs qui mesure, chiffres à l'appui, si une IA répond juste — avant sa mise en service, puis à chaque mise à jour. Une démo réussie ne prouve rien : un modèle brillant sur quelques exemples choisis peut se tromper une fois sur deux sur des cas réels, et dériver en silence lorsque le fournisseur change de version. La bonne question à un fournisseur n'est pas « que sait faire votre IA ? » mais « comment mesurez-vous sa justesse sur MES cas, et puis-je voir le jeu de test et le score ? ». Avant tout déploiement, constituez avec vos équipes un jeu de cas réels déjà validés, fixez un score de justesse cible et exigez qu'il soit remesuré à chaque nouvelle version.

Source : Gartner, « 40% of Organizations Deploying AI Will Use AI Observability to Monitor Model Performance by 2028 », 12 mai 2026 (part des équipes d'ingénierie logicielle recourant aux plateformes d'évaluation et d'observabilité de l'IA : 18 % en 2025, 60 % projetés en 2028).