Comment se déroule un test d’acceptation d’IA
Comment réceptionner un assistant IA avec la méthode de l’industrie : d’abord une analyse des défaillances, puis des critères signés avant de regarder.
Comment se déroule un test. L’ordre dans lequel l’industrie réceptionne une machine, appliqué à un assistant IA : on analyse d’abord comment il peut se tromper, et ensuite seulement on le teste sur des critères déjà signés.
AMDEC : ce qui peut faillir, et avec quelle gravité
Je commence par une analyse des modes de défaillance, de leurs effets et de leur criticité (AMDEC) de votre assistant, comme pour une machine avant sa mise en service : ce qui peut mal tourner et ce que pèserait chaque défaillance. Les questions critiques en découlent, et ce sont elles qui comptent en premier.
On traque surtout les défaillances qui passent pour justes, comme un chiffre modifié ou un document qui n’est plus en vigueur, énoncées avec un parfait aplomb.
Comme dans une AMDEC industrielle, chaque mode de défaillance est coté selon sa gravité et sa probabilité, et pèse davantage s’il serait difficile à détecter avant de causer un dommage. Les plus graves reçoivent le plus de questions.
Dans le diagnostic, cette analyse est le document de deux pages qui classe vos risques par gravité.
Des critères signés avant de regarder
Sur la base de l’analyse, les critères d’acceptation et leurs seuils sont convenus, par exemple aucune erreur grave et au moins 85 % de réponses correctes. Vous les signez avant qu’une seule question soit posée.
Le fichier des critères est scellé par son empreinte SHA-256, consignée dans le procès-verbal du test. Si un seuil changeait au vu des résultats, l’empreinte ne correspondrait plus.
Les critères du test de démonstration ont été fixés le 2026-11-14, avant son exécution. Voici leur empreinte :
Toute personne disposant du fichier peut la recalculer et vérifier que rien n’a changé. Dans une mission, le jeu de questions porte lui aussi son empreinte dans le protocole signé.
Essais FAT et SAT
Dans l’industrie, un équipement est testé deux fois avant d’être réceptionné : sur le banc du fabricant, le FAT (factory acceptance test), puis chez le client, le SAT (site acceptance test). Un test d’IA suit la même logique.
Le FAT est le test sur le banc d’essai, sur une version qui ne change pas tant qu’il dure, avec les questions critiques posées deux fois. Le SAT repose les mêmes questions dans votre environnement réel, avec le banc d’essai qui reste dans votre organisation.
Les questions critiques sont posées deux fois, car un assistant ne répond pas toujours de la même façon : dans le test de démonstration, 2 des 52 ont changé de résultat la seconde fois.
Le test d’acceptation comprend le FAT complet, avec jusqu’à 120 questions, et une reprise de dix questions au plus après correction.
Il ne comprend pas de SAT sur place. Le banc d’essai et les instructions pour refaire le test restent dans votre organisation, et votre équipe mène le SAT sur le système en service et après chaque modification importante.
Si vous le préférez, tout le test peut se dérouler dans votre environnement dès le départ : le FAT a alors lieu là où l’assistant va travailler.
Le rapport et ses trois résultats
Le rapport compare ce qui a été mesuré à ce que vous avez signé et consigne chaque défaillance avec sa preuve. Je le signe et le date, et il vaut pour la version et les cas testés.
- Favorable: Tous les critères signés sont remplis.
- Défavorable: Au moins un critère n’est pas rempli. Le rapport dit lequel, et ce qu’il convient de changer.
- Non concluant: Ce qui a été mesuré ne suffit pas pour trancher selon les règles signées, par exemple si la version a changé pendant le test.
Votre comité ou votre service juridique peut l’utiliser comme preuve documentée que le système a été testé. Il ne remplace ni l’évaluation de la conformité prévue par le règlement sur l’IA ni un organisme notifié lorsque son intervention est exigée. La méthode s’appuie sur la spécification technique ISO/IEC TS 42119-2:2025, qui applique à l’IA les normes d’essai logiciel ISO/IEC/IEEE 29119. La prendre pour référence n’implique ni conformité ni certification par un tiers.