Choisir le bon modèle : coût, latence et qualité
Aucun benchmark public ne peut vous dire quel modèle convient à votre tâche, une petite éval privée le peut. Comment choisir : optimiser le coût par résultat réussi, utiliser les curseurs thinking et effort, et décaler la courbe avec le caching et l'hygiène du contexte.
Guillaume Rufenacht
Product Manager IA · Lisbonne
Chaque sortie de modèle s’accompagne de benchmarks, de guides de prompting et d’un mur d’avis tranchés allant de “l’AGI est là” à “ils sont finis.” Rien de tout cela ne répond à la seule question qui compte pour vous : devrais-je utiliser ce modèle pour ma tâche ? La réponse honnête, c’est qu’aucun benchmark public ne peut vous le dire, mais qu’une petite éval privée le peut. Choisir le bon modèle est un problème de mesure, pas un problème de ressenti.
Bien prendre cette décision fait partie intégrante du pilotage de pipelines LLM en production chez Geonimo. Voici la méthode que j’utilise.
Key takeaways
- Une petite éval privée bien conçue bat n'importe quel benchmark public pour choisir un modèle adapté à votre cas d'usage.
- Optimisez le coût par résultat réussi, pas le coût par token. Un modèle plus cher peut revenir moins cher dès lors qu'il réussit plus souvent.
- Les modèles plus intelligents sont souvent plus rapides et consomment moins de tokens : ils planifient mieux et prennent moins de tours. 'Plus petit = plus rapide' est un piège.
- Servez-vous des curseurs : niveau du modèle, thinking (un brouillon pour raisonner) et effort (à quel point il travaille) pour vous déplacer le long de la courbe coût/qualité.
- Décalez toute la courbe avec le prompt caching et l'hygiène du contexte : souvent la qualité d'Opus au coût de Sonnet.
Construisez d’abord l’éval
Les benchmarks publics (code, recherche, et ainsi de suite) donnent au mieux une direction. Votre charge de travail réelle est plus brouillonne et plus spécifique : tâches mélangées, langages de niche, vos propres données. Et un modèle peut dominer un classement tout en sous-performant sur précisément votre travail. Construisez donc une petite éval : un ensemble de tâches, chacune avec ses entrées et des critères de réussite clairs. Notez le résultat et le cheminement, comme à un examen de maths : un agent peut atteindre la bonne réponse de la mauvaise façon. Mélangez le LLM-juge (pour la justesse floue) avec des vérifications déterministes (a-t-il appelé le bon outil avec les bons arguments). C’est un vrai travail, et c’est la chose la plus à fort levier que vous puissiez faire avant de parier un produit sur un modèle.
Les pièges d'éval qui mordent tout le monde
Optimisez le coût par résultat réussi
C’est le recadrage qui change les décisions. Le bon modèle n’est pas le moins cher au token, c’est le moins cher par résultat réussi. De façon contre-intuitive, un modèle plus capable est souvent plus rapide et moins cher en pratique : il planifie mieux, prend moins de tours et ne brûle pas des tokens à patauger. Les équipes constatent régulièrement qu’un modèle haut de gamme termine une tâche en moins de temps et avec moins de tokens qu’un plus petit qui a eu besoin de cinq tentatives. “Plus petit égale plus rapide” est un ressenti, mesurez-le.
Servez-vous des curseurs : niveau, thinking, effort
Vous avez bien plus de contrôle que le seul nom du modèle. Au-delà du choix d’un niveau (plus d’intelligence contre moins de latence/coût), les modèles modernes exposent le thinking (un brouillon adaptatif pour raisonner avant d’agir) et l’effort (combien de travail dépenser entre le thinking, les appels d’outils et les réponses). Vous pouvez les combiner, peu de thinking avec un effort élevé, ou pas de thinking avec un budget d’effort élevé, pour vous placer exactement où vous le voulez sur la courbe coût/qualité au lieu de prendre ce qu’une valeur par défaut vous donne.
Décalez la courbe, ne vous contentez pas de la parcourir
Les plus grands gains changent entièrement le compromis :
Le prompt caching. Réutiliser un préfixe de prompt mis en cache coûte une fraction du prix du token d’entrée, en somme de la qualité haut de gamme à un coût de milieu de gamme. L’astuce, c’est un historique de messages en ajout seulement (pas de variables volatiles comme un horodatage dans le system prompt, qui casse silencieusement le cache). Visez un taux de cache hit de 80-90 %.
L’hygiène du contexte. Nettoyez ce que vous donnez au modèle, du markdown plutôt que du JSON boursouflé, dédupliquez les résultats, coupez le bruit, et vous pouvez réduire les tokens de moitié ou plus et améliorer la justesse, parce que le modèle raisonne sur des données plus propres. C’est le tranchant pratique du context engineering, et ça se cumule à chaque tour.
À retenir
C’est le travail quotidien de mise en production de produits LLM, une partie du fait de construire avec Claude Code et de ce que je fais chez Geonimo. Découvrez comment je construis ou prenez contact.
Questions fréquentes
Comment choisir quel modèle d'IA utiliser ?
Construisez une petite éval privée pour votre tâche réelle, un ensemble d'entrées avec des critères de réussite clairs, et faites tourner les modèles candidats dessus. Une éval bien conçue bat n'importe quel benchmark public pour votre cas d'usage précis.
Le modèle le moins cher est-il le plus rentable ?
Non. Optimisez le coût par résultat réussi, pas le coût par token. Un modèle plus capable termine souvent en moins de tours et avec moins de tokens, ce qui le rend moins cher et plus rapide en pratique malgré un prix au token plus élevé.
À quoi servent les réglages thinking et effort ?
Le thinking est un brouillon adaptatif qui laisse le modèle raisonner avant d'agir ; l'effort contrôle combien de travail il dépense entre le thinking, les appels d'outils et les réponses. Vous pouvez les combiner pour atterrir exactement sur votre cible de coût et de qualité.
Comment obtenir une meilleure qualité sans payer plus ?
Décalez la courbe avec le prompt caching (un préfixe mis en cache coûte une fraction du prix du token d'entrée) et l'hygiène du contexte (markdown plutôt que JSON, déduplication, élagage), qui réduisent les tokens et améliorent souvent la justesse en même temps.
Travailler avec moi
Vous voulez un système comme celui-ci pour votre pipeline ?
J'aide les équipes à faire passer l'IA d'un prototype malin à une production fiable : moteurs d'outbound, intelligence des leads et les pipelines LLM en dessous. Voyez ce que j'ai livré ou écrivez-moi.