Pourquoi il faut faire des évaluations d'IA sur vos projets et vos dépôts en 2026
Lecture rapide
#1 Éviter la dépendance à un fournisseur
Les offres changent et les services tombent en panne. Quand votre seul fournisseur est perturbé, toute votre activité de développement s'arrête.
#2 Connaître le coût de vos fonctionnalités
Dans ma première évaluation, la même fonctionnalité a coûté d'environ 3 $ à 21 $ aux prix de l'API. Un chiffre par fonctionnalité sert de référence pour le prochain ajustement des prix.
#3 Identifier les modèles à utiliser, et quand
Quelle étape du processus mérite un raisonnement de niveau Opus, et pour laquelle Haiku suffirait-il ? Des runs d'évaluation sur votre propre dépôt vous le diront.
Deux limites
Un run n'est pas un résultat, et les résultats vieillissent : il faut refaire les évaluations quand les modèles ou les harnesses changent.
Introduction
L’évolution de l’IA en 2026 a été vertigineuse, avec des modèles d’IA et des harnesses de code devenus des agents entièrement autonomes et compétents. Fin 2026, dans mes projets, quand on donne assez de contexte et de consignes à un agent, la qualité du code est au niveau d’un ingénieur senior, surtout avec les modèles les plus performants. La recherche est plus partagée : les pull requests d’agents mergées attirent des correctifs avec un odds ratio de 1,62 par rapport aux PR humaines des mêmes dépôts. Bien sûr, ces études sont subjectives, puisque le prompt initial et la planification avec un humain changeraient le résultat. D’après mon expérience, les agents repèrent aussi plus d’erreurs mineures que l’œil humain.
La question aujourd’hui : quel modèle utiliser pour chaque étape d’un processus, et pour quel budget ?
Avec les abonnements aux modèles frontière, on reçoit encore des tokens gratuits, si l’on mesure la consommation de tokens et son coût : un abonnement à 100 $ ou 200 $ donne bien plus de valeur en tokens. Une mesure indépendante a estimé en janvier 2026 que les forfaits Claude rapportent 8 à 37 fois leur prix en usage équivalent API. En suivant plusieurs des fonctionnalités que j’ai développées, j’ai vu le coût de la consommation de tokens monter jusqu’à 500 $ à 1 000 $ (c’est fou !), alors qu’en réalité je ne paie qu’un abonnement à 200 $. C’était une fonctionnalité importante, avec des stories développées sur 3 dépôts différents pour le même projet.
D’où ma question : combien de temps ces tarifs vont-ils durer ? GitHub écrivait en avril 2026 que “the current premium request model is no longer sustainable” pour l’usage agentique. En 2026, la plupart des fournisseurs ont changé leur façon de compter l’usage :
- Anthropic, de novembre 2025 à février 2026 : les licences Enterprise ne comprennent plus de tokens subventionnés, chaque token est facturé au tarif de l’API.
- OpenAI, en avril : une nouvelle offre Pro à 100 $, et l’usage de Codex rééquilibré dans Plus.
- GitHub, le 1er juin : les requêtes premium remplacées par les AI Credits.
- Cursor, en juin : de nouveaux tarifs Teams.
Tous les changements n’ont pas été dans le même sens : Anthropic a doublé les limites d’usage de Claude Code par fenêtre de cinq heures en mai. Malgré tout, je pense qu’il faut s’attendre à un nouvel ajustement dans l’année qui vient.
Sources.
- Pull requests d’agents : “merged agent PRs attract verified fixes at 1.62 times the odds of merged human PRs in the same repositories” (Who Finishes the Job? Follow-up fixes on AI coding agent PRs, prépublication 2026).
- La valeur d’un abonnement : une mesure indépendante des limites des forfaits Claude, janvier 2026 (Claude limits, measured).
- GitHub : “the current premium request model is no longer sustainable” ; “Starting June 1, premium request units (PRUs) will be replaced by GitHub AI Credits” (GitHub Copilot is moving to usage-based billing).
- Licences Enterprise d’Anthropic : “Every token gets billed at standard API rates on top of the base seat” (The Register, avril 2026).
- OpenAI : “We are launching a $100 ChatGPT Pro tier by very popular demand” (VentureBeat, avril 2026).
- Cursor : les offres Teams et leurs prix, juin 2026 (Improvements to Teams Pricing).
- Anthropic : “we’re doubling Claude Code’s five-hour rate limits for Pro, Max, Team, and seat-based Enterprise plans” (Higher usage limits for Claude, mai 2026).
#1 Éviter la dépendance à un fournisseur
Sur un marché très concurrentiel, où les prix et les offres changent sans arrêt, travailler avec un seul fournisseur de modèles d’IA est très risqué.
- Les offres et les services changent : Google a annoncé en mai 2026 que Gemini CLI cesserait de répondre aux requêtes de ses abonnés AI Pro et Ultra le 18 juin, un mois plus tard, au profit d’un nouveau CLI.
- Les services tombent en panne : Anthropic a signalé des erreurs sur tous ses modèles, Claude Code compris, pendant près de cinq heures le 30 juillet 2026 ; les utilisateurs d’OpenAI n’ont pas pu accéder à ChatGPT, à Codex et à l’API Platform le 20 avril 2026 ; l’API Gemini de Vertex AI, chez Google, a renvoyé un taux d’erreurs élevé pendant deux heures le 27 février 2026. Quand votre seul fournisseur est perturbé, toute votre activité de développement s’arrête, tout simplement (pour quelques heures à chaque fois, jusqu’ici).
C’est l’une des raisons pour lesquelles je construis une usine logicielle compatible avec trois harnesses pour l’instant, Claude Code, Codex et OpenCode, avec derrière eux une passerelle LiteLLM, une API unique devant de nombreux fournisseurs de modèles, pour pouvoir aussi changer de fournisseur de modèles d’IA.
Sources.
- Google : “On June 18, 2026, Gemini CLI and Gemini Code Assist IDE extensions will stop serving requests for Google AI Pro and Ultra” (Transitioning Gemini CLI to Antigravity CLI, mai 2026).
- Anthropic, 30 juillet 2026 : l’incident a touché “claude.ai, Claude API (api.anthropic.com), Claude Code, and Claude Cowork” (page de statut d’Anthropic).
- OpenAI, 20 avril 2026 : “Impacted users are currently unable to access ChatGPT, Codex and API Platform” (page de statut d’OpenAI).
- Google Cloud, 27 février 2026 : API Gemini de Vertex AI, “Incident began at 2026-02-27 04:37 and ended at 2026-02-27 06:35” (page de statut de Google Cloud).
#2 Connaître le coût de vos fonctionnalités
C’est bien documenté : les agents d’IA n’ont pas les mêmes performances selon le langage de programmation et l’environnement utilisés. Un benchmark de 2026 sur le refactoring multilingue a trouvé que “performance varies substantially across languages. No single model dominates all languages” ; une autre étude de 2026 montre que le coût en tokens peut varier fortement selon le langage de programmation ; et, à modèle constant, le harness seul fait varier les taux de réussite et la consommation de ressources (“vary substantially”).
Il est donc essentiel de savoir combien coûte une fonctionnalité, en tokens et en argent. Mettre un chiffre sur une fonctionnalité donne aussi du recul sur la valeur reçue et sur l’investissement consenti. Dans ma première évaluation, la même fonctionnalité, construite à partir de la même spec sur le même dépôt, a coûté d’environ 3 $ à 21 $ aux prix de l’API, et les modèles ont fait bouger le coût bien plus que la méthode (résultats dans les prochains articles).
Même si vous utilisez un abonnement qui semble distribuer les tokens gratuitement, vous devriez au moins savoir combien de tokens coûte chaque fonctionnalité développée. Ce chiffre sert aussi de référence pour se préparer à un éventuel ajustement des prix sur le marché, et anticiper une possible hausse de votre budget IA. (La façon de compter a son importance : dans cette évaluation, un run sur un modèle ouvert a coûté 2,72 $ selon la passerelle et 97,95 $ selon l’estimation du harness lui-même, qui applique les prix de Claude à d’autres modèles.)
Sources.
- Par langage : “Performance varies substantially across languages. No single model dominates all languages” (SWE-Bench ProMax: multilingual code refactoring, prépublication 2026).
- Par langage, en tokens : une étude de 2026 sur le coût en tokens selon le langage de programmation (The Best Programming Language for Tokenmaxxing, prépublication 2026).
- Par harness : “their success rates and resource consumption vary substantially even when the underlying model is held fixed” (Claw-SWE-Bench, prépublication 2026).
#3 Identifier les modèles à utiliser, et quand
Pour certaines tâches de développement, faut-il vraiment utiliser des modèles très performants en permanence ? Quand peut-on utiliser un modèle de moindre capacité, et pourquoi ? Quelle étape du processus mérite un raisonnement de niveau Opus, et pour laquelle Haiku suffirait-il ? Quelle est la différence de prix entre les modèles frontière et les modèles open source ? Peut-on entraîner un modèle de faible capacité pour qu’il donne des résultats de meilleure qualité ? Autant de questions auxquelles on peut répondre en comparant différents runs avec différents modèles.
La recherche commence à répondre à certaines d’entre elles. Dans une étude de 2026, router chaque tâche vers le bon modèle a égalé le taux de résolution du meilleur modèle pris seul “at about a fifth of the total cost per solve”. Claude Code, par exemple, permet d’attribuer un modèle à chaque sous-agent, “routing tasks to faster, lower-cost models like Haiku”.
Mais la grille tarifaire seule ne donne pas le coût d’une fonctionnalité. Dans ma première évaluation, le build le plus cher n’était pas l’un des trois sur Opus et Sonnet (de 15,68 $ à 16,56 $), mais un build staged sur des modèles à poids ouverts (environ 21,03 $), à cause de ce que les modèles ont fait de leurs tours de conversation une fois le code écrit. Les benchmarks publics ne vous diront pas quel cas s’applique à votre code : Epoch AI note qu’avec SWE-bench Verified “all current and future models have been trained on the codebases used in its tasks”. Des runs d’évaluation sur votre propre dépôt vous diront quel modèle est le plus performant sur votre base de code.
Sources.
- Router chaque tâche vers un modèle : le routeur “matches the best single model’s solve rate” “at about a fifth of the total cost per solve” (Scrouting: Cost-Aware Routing of Coding Agents, prépublication 2026).
- Claude Code : “Control costs by routing tasks to faster, lower-cost models like Haiku” (Create custom subagents, documentation de Claude Code).
- Benchmarks publics : “all current and future models have been trained on the codebases used in its tasks” (SWE-bench Verified, revue du benchmark par Epoch AI).
Conclusion
Faire des évaluations sur un dépôt peut apporter beaucoup : mieux connaître la base de code, mais aussi les budgets réels d’implémentation, et les modèles les mieux adaptés aux tâches.
Deux limites à garder en tête. Un run n’est pas un résultat : sur un seul dépôt, une étude de 2026 a trouvé qu’un gain de 4,9 points, sur le nombre de tâches qu’un seul dépôt peut fournir, “cannot be separated from the agent’s run-to-run variance”. Et les résultats vieillissent : le post-mortem d’Anthropic lui-même décrit comment un changement de l’effort de raisonnement par défaut et une nouvelle instruction dans le prompt système ont changé la qualité de Claude Code pendant des semaines, avec le même modèle. Il faut refaire les évaluations quand les modèles ou les harnesses changent.
Je vais faire des évaluations sur certains de mes projets, et j’en rendrai compte ici, en commençant par une fonctionnalité construite par différents modèles et différentes méthodes.
Sources.
- Un dépôt, un run : “at the dataset size a single repository supplies it cannot be separated from the agent’s run-to-run variance” (Skill Issue: Lessons from Optimizing Repository SKILLs for Coding Agents, prépublication 2026).
- Le post-mortem d’Anthropic : “On March 4, we changed Claude Code’s default reasoning effort from
hightomedium” ; “On April 16, we added a system prompt instruction to reduce verbosity” (An update on recent Claude Code quality reports, avril 2026).