Un ensayo real de aceptación de IA, de principio a fin

98 preguntas a un asistente sobre el reglamento de baja tensión, los criterios pactados de antemano, los seis errores graves y el informe firmado.


Un ensayo real, de principio a fin. Un asistente sobre el reglamento de baja tensión, ensayado el 2026-11-14. Lo monté yo para esta demostración con un modelo abierto en local, así que no es el sistema de un cliente. Resultado: desfavorable. Cuatro de los seis criterios no se cumplen, entre ellos el de errores graves, donde lo pactado era cero.

Criterios:

Los errores en preguntas graves:

Antes de cambiar de modelo, corregir cómo se leen las tablas del documento y añadir una comprobación de premisas. Después, repetir el ensayo con los mismos casos.