Construire un budget d'erreur pour une fonctionnalité IA

Dire qu'une IA doit être « fiable » ne fournit aucune règle de décision. Une erreur de ponctuation, une source inventée et une action irréversible non autorisée ne peuvent pas entrer dans la même moyenne. Le budget d'erreur traduit le risque accepté en seuils observables et en réponses opérationnelles.

Commencer par une taxonomie de gravité

Une grille simple peut distinguer quatre niveaux :

• Mineur : défaut de forme sans effet sur la décision.
• Significatif : information incomplète ou correction nécessaire avant usage.
• Majeur : recommandation fausse, donnée sensible exposée ou action métier incorrecte mais réversible.
• Critique : dommage important, action irréversible, droit affecté ou absence de recours.

La gravité doit intégrer l'effet réel, pas seulement l'écart technique.

Définir le dénominateur

Un taux sans dénominateur précis est inutilisable. Mesurez-vous par réponse, par décision, par action exécutée, par utilisateur ou par dossier ? Pour un agent qui appelle plusieurs outils, le nombre de messages peut masquer l'unité qui porte le risque.

Choisissez l'unité la plus proche de la promesse et de l'impact : « décisions préparées », « paiements proposés » ou « dossiers clos ».

Écrire les seuils et leurs conséquences

Le budget doit indiquer :

• taux maximal par niveau de gravité ;
• fenêtre d'observation et volume minimum ;
• segments surveillés séparément ;
• règle lorsqu'un cas critique survient ;
• responsable de la décision ;
• action associée à chaque seuil.

Exemple de réponse : sous le seuil, surveiller ; proche du seuil, limiter le déploiement ; au-dessus, revenir au mode assistance ; cas critique, suspendre la capacité et examiner les actions concernées.

Les chiffres doivent être définis à partir du contexte. Il n'existe pas de pourcentage universellement sûr.

Ajouter la détectabilité et la réversibilité

Deux fonctions avec le même taux d'erreur n'ont pas le même risque. Une erreur visible avant envoi et facile à corriger est différente d'une erreur silencieuse découverte après une décision.

Pondérez le budget avec :

• probabilité de détection avant effet ;
• délai de détection ;
• facilité d'annulation ;
• population exposée ;
• qualité du recours.

Cette pondération évite de transformer le budget en simple objectif de précision.

Relier évaluations et production

Les évaluations hors ligne contrôlent une version avant lancement. La production révèle données réelles, comportements inattendus et changements de contexte. Utilisez le même vocabulaire de gravité dans les deux environnements.

Conservez un jeu de cas critiques qui bloque la promotion d'une nouvelle version, puis échantillonnez la production avec revue humaine calibrée.

Éviter les trois pièges

La moyenne rassurante

Un bon score global peut cacher un segment rare mais dangereux.

Le budget consommé sans décision

Un seuil qui n'entraîne aucune action n'est qu'un tableau de bord.

Le budget permanent

Révisez les seuils lorsque l'usage, l'autorité, la population ou le modèle change.

Fait, inférence et hypothèse

Fait direct : le même taux d'erreur produit des risques différents selon impact, détectabilité et réversibilité.

Inférence : une taxonomie partagée permet de relier produit, évaluations, incidents et décisions de déploiement.

Hypothèse à tester : un budget comportant des actions automatiques réduit le temps entre dégradation et limitation de la fonction.

FAQ

Un budget d'erreur autorise-t-il volontairement des erreurs ?

Il reconnaît qu'aucun système n'est parfait et rend explicite ce qui est tolérable, ce qui demande correction et ce qui impose l'arrêt.

Quelle taille d'échantillon faut-il ?

Elle dépend de la fréquence et du risque. Les cas rares et critiques demandent des tests ciblés, pas seulement une grande moyenne.

Peut-on utiliser un seul seuil pour tout le produit ?

Non. Séparez au minimum les actions, les gravités et les segments dont l'impact diffère.

Prochaine étape

Utilisez le calculateur de budget d'erreur sur une fonction et associez une décision à chaque seuil. Pour une revue des catégories et règles d'arrêt, écrivez à contact@yumea.fr avec l'objet « BUDGET ERREUR ».