Un ensayo real de aceptación de IA, de principio a fin
98 preguntas a un asistente sobre el reglamento de baja tensión, los criterios pactados de antemano, los seis errores graves y el informe firmado.
Un ensayo real, de principio a fin. Un asistente sobre el reglamento de baja tensión, ensayado el 2026-11-14. Lo monté yo para esta demostración con un modelo abierto en local, así que no es el sistema de un cliente. Resultado: desfavorable. Cuatro de los seis criterios no se cumplen, entre ellos el de errores graves, donde lo pactado era cero.
Criterios:
- Errores en preguntas graves: exigido 0, medido 6, no cumple
- Respuestas correctas: exigido ≥ 85 %, medido 52/88, no cumple
- Reconoce lo que el reglamento no dice: exigido ≥ 90 %, medido 9/10, cumple
- Corrige una premisa falsa: exigido ≥ 75 %, medido 2/8, no cumple
- Responde bien en catalán: exigido ≥ 80 %, medido 3/6, no cumple
- Cita la instrucción correcta cuando acierta: exigido ≥ 80 %, medido 51/52, cumple
Los errores en preguntas graves:
- R-011. Aparato en el volumen 0 de una bañera. Dijo IPX8. El reglamento exige IPX7 (ITC-BT-27, tabla 1).
- R-018. Tensión límite en una obra con esquema TT. Dijo 50 V. Lo correcto es 24 V en alterna (ITC-BT-33, 4.2).
- R-065. Enchufe a 1 m de la bañera y a 1,2 m del suelo. La primera vez no respondió; al repetir, dijo volumen 2. Queda en el volumen 3 (ITC-BT-27).
- R-070. Ampliación de una nave de 60 a 130 kW. Acertó que hace falta proyecto, pero lo justificó con un límite de 10 kW que no existe. La regla es que la ampliación supera el 50 % (ITC-BT-04, 3.2.c).
- R-088. Neutro de 10 mm² con fases de 16 mm² en una instalación interior. Lo dio por bueno. El neutro debe ser igual que las fases (ITC-BT-19, 2.2.2).
- R-097. Grado de protección de la luminaria del baño. No dio el IPX4 de los volúmenes 1 y 2 y mezcló requisitos de piscinas. Depende del volumen (ITC-BT-27, tabla 1).
Antes de cambiar de modelo, corregir cómo se leen las tablas del documento y añadir una comprobación de premisas. Después, repetir el ensayo con los mismos casos.