Com es fa un assaig d’acceptació d’IA
Com s’accepta un assistent d’IA amb el mètode de la indústria: primer una anàlisi de fallades, i uns criteris signats abans de mirar.
Com es fa un assaig. L’ordre amb què la indústria accepta una màquina, aplicat a un assistent d’IA: primer s’analitza com pot fallar, i només després s’assaja amb uns criteris ja signats.
AMFE: què pot fallar i quant importa
Començo amb una anàlisi modal de fallades i efectes (AMFE) del seu assistent, com es fa amb una màquina abans de posar-la en servei: què pot sortir malament i quant importaria cada fallada. D’aquí surten les preguntes crítiques, que són les que compten primer.
Es busquen sobretot les fallades que passen per bones, com una xifra canviada o un document que ja no és vigent, dites amb tota la seguretat del món.
Com en una AMFE industrial, cada manera de fallar es valora per la gravetat i la probabilitat, i pesa més si seria difícil detectar-la abans que fes mal. Les més greus reben més preguntes.
A la diagnosi, aquesta anàlisi és el document de dues pàgines amb els seus riscos ordenats per gravetat.
Criteris signats abans de mirar
Amb l’anàlisi al davant s’acorden els criteris d’acceptació i els seus llindars, per exemple cap error greu i com a mínim un 85 % de respostes correctes. Vostè els signa abans que s’executi una sola pregunta.
El fitxer de criteris se segella amb la seva empremta SHA-256, que queda a l’acta de l’assaig. Si un llindar canviés en veure els resultats, l’empremta deixaria de coincidir.
Els criteris de l’assaig de demostració es van fixar el 2026-11-14, abans d’executar-lo. Aquesta és la seva empremta:
Qualsevol persona amb el fitxer la pot recalcular i comprovar que no ha canviat. En un encàrrec, el conjunt de preguntes també porta la seva empremta al protocol signat.
Assaig FAT i SAT
A la indústria, un equip es prova dues vegades abans d’acceptar-lo: al banc del fabricant, el FAT (factory acceptance test), i a la planta del client, el SAT (site acceptance test). Un assaig d’IA segueix la mateixa lògica.
El FAT és l’assaig al banc de proves, sobre una versió que no canvia mentre dura, amb les preguntes crítiques fetes dues vegades. El SAT repeteix les mateixes preguntes al seu entorn real, amb el banc de proves que es queda a la seva organització.
Les preguntes crítiques es fan dues vegades perquè un assistent no sempre respon igual: a l’assaig de demostració, en repetir-les, 2 de les 52 van canviar de resultat.
L’assaig d’acceptació inclou el FAT complet, amb fins a 120 preguntes, i una repetició de fins a deu preguntes després de la correcció.
No inclou un SAT presencial. El banc de proves i les instruccions per repetir l’assaig es queden a la seva organització, i el seu equip fa el SAT sobre el sistema en servei i després de cada canvi important.
Si ho prefereix, tot l’assaig es pot fer dins del seu entorn des del principi: aleshores el FAT ja es fa on treballarà l’assistent.
L’informe i els seus tres resultats
L’informe compara el que s’ha mesurat amb el que vostè va signar i recull cada error amb la seva prova. El signo jo, amb data, i val per a la versió i els casos assajats.
- Favorable: Es compleixen tots els criteris signats.
- Desfavorable: Com a mínim un criteri no es compleix. L’informe diu quin i què convé canviar.
- No concloent: El que s’ha mesurat no basta per decidir amb les regles signades, per exemple si la versió va canviar durant l’assaig.
El seu comitè o el seu equip jurídic el poden fer servir com a prova documentada que el sistema s’ha assajat. No substitueix l’avaluació de la conformitat del Reglament d’IA ni un organisme notificat quan sigui exigible. El mètode pren com a referència l’especificació tècnica ISO/IEC TS 42119-2:2025, que aplica a la IA les normes d’assaig de programari ISO/IEC/IEEE 29119. Fer-la servir com a referència no implica conformitat ni certificació de tercers.