Un test d’acceptation d’IA réel, de bout en bout

98 questions posées à un assistant sur la réglementation espagnole basse tension, les critères convenus à l’avance, les six erreurs graves et le rapport signé.


Un test réel, de bout en bout. Un assistant sur la réglementation espagnole basse tension, testé le 2026-11-14. Je l’ai construit moi-même pour cette démonstration avec un modèle ouvert exécuté en local : ce n’est donc pas le système d’un client. Résultat : défavorable. Quatre des six critères ne sont pas atteints, dont celui des erreurs graves, où le seuil convenu était zéro.

Critères:

Les erreurs sur les questions critiques:

Avant de changer de modèle, corriger la lecture des tableaux du document et ajouter une vérification des prémisses. Ensuite, refaire le test avec les mêmes cas.