← Criterio · Familia PMO

Evidencia de pruebas

Criterio PMO · Gobierno de proyectosAnálisis estadístico de las pruebas

Cómo rinden los tres agentes y el servidor en 12 rondas de prueba, con el margen de cada resultado y lo que falta por mejorar. Se regenera desde la evidencia del repositorio con cada ronda.

Ronda más reciente 12 · 2026-10-28 · versión probada 1.0.0

José Ñáñez
José ÑáñezTechnology Advisor · Board Member
Publicado 20 de octubre de 2026Actualizado 29 de octubre de 20268 min de lectura

En una mirada

La versión más reciente probada, 1.0.0, en la ronda 12: Vera con 100 % de precisión (margen del 95 %: 96,9–100 %) y 100 % de cobertura; Samuel con 100 % de compromisos correctos; Alba con 100 % de alertas encontradas; Rostrum con 100 % de comprobaciones.

Sumando las rondas 1–12, Vera acertó en el 99,2 % de las 2944 alertas que emitió y encontró el 99,7 % de las 2928 que había. Desde la ronda 6, las cuatro métricas se mantienen por encima del 99 %.

Qué se probó y cómo

Cada ronda sortea hechos nuevos y escribe una clave que ningún agente ve. Los datos de prueba se construyeron para ser más exigentes que la documentación de una PMO promedio, y cada industria lleva un proyecto sano que no debe levantar ninguna alerta.

Precisión: de las alertas emitidas, cuántas eran correctas. Cobertura: de las que había, cuántas encontró. Margen del 95 %: intervalo de confianza de Wilson sobre los casos; para Vera en la última ronda, el que remuestrea proyectos.

Periodo
12 rondas, 2026-10-15 → 2026-10-28, versiones 0.3.6 → 1.0.0
Industrias
Logística, Telecomunicaciones
Proyectos analizados
624
Documentos procesados
6246: Markdown 3392, Word 1455, PDF 623, Excel 376, CSV 253, texto 60, JSON 48, xml 39
Ejecuciones
1784
Lecturas de la clave
0
Proyectos de control
48

Resultados acumulados · rondas 1–12

Los acumulados de Samuel, Alba y Rostrum incluyen las primeras rondas, cuando esas capacidades se estaban construyendo; su valor actual es el de la versión más reciente.

Agente · métricaCasosResultadoMargen del 95 %
Vera · precisión2919 de 294499,2 %98,7–99,5 %
Vera · cobertura2919 de 292899,7 %99,4–99,9 %
Vera · proyectos de control sin alertas48 de 48100 %92,5–100 %
Samuel · compromisos correctos1056 de 109296,7 %95,4–97,7 %
Alba · cobertura1413 de 146296,6 %95,5–97,5 %
Alba · precisión1413 de 142599,2 %98,5–99,6 %
Rostrum · comprobaciones (11 rondas)23 011 de 23 48798 %97,7–98,2 %
Contratos cumplidos1766 de 178499 %98,4–99,4 %

Evolución por ronda

Evolución por ronda
Ronda · versiónProyectosDocumentosVera · precisiónSamuelAlba · coberturaRostrumContratosDefectos
1 · 0.3.65245797,9 %75 %0 %No medido100 %13
2 · 0.3.85249097 %83,3 %88,4 %79,8 %95,9 %13
3 · 0.3.95252898,4 %76,9 %99,3 %99,2 %98 %6
4 · 0.3.105250698,7 %96,2 %92,5 %99,8 %97,3 %5
5 · 0.3.115249897,8 %98,1 %100 %100 %100 %3
6 · 0.3.1252534100 %99,1 %100 %99,9 %98 %4
7 · 0.3.1352534100 %100 %100 %100 %100 %1
8 · 0.3.135252799,6 %100 %100 %99,3 %99,3 %2
9 · 0.4.05253299,6 %100 %100 %100 %100 %2
10 · 0.5.052531100 %100 %100 %100 %100 %4
11 · 0.8.078823100 %100 %100 %99,9 %99,6 %2
12 · 1.0.026286100 %100 %100 %100 %100 %0

La versión más reciente probada · 1.0.0, ronda 12

Vera no emitió ninguna alerta falsa.

Agente · métricaCasosResultadoMargen del 95 %
Vera · precisión119 de 119100 %96,9–100 %
Vera · cobertura119 de 119100 %96,9–100 %
Samuel · compromisos correctos54 de 54100 %93,3–100 %
Alba · cobertura61 de 61100 %94–100 %
Alba · precisión61 de 61100 %94–100 %
Rostrum · comprobaciones1072 de 1072100 %99,6–100 %
Contratos cumplidos76 de 76100 %95,1–100 %

Por industria · rondas 1–12

IndustriaVera · precisiónVera · coberturaSamuelAlba · coberturaAlba · precisiónRostrum
Banca98,7 %100 %90,2 %94,1 %98,5 %97,6 %
Cooperativas99,6 %100 %98,4 %98 %99,7 %97,9 %
Retail99,4 %100 %98,4 %96,5 %99,7 %97,6 %
Minería98,6 %98,6 %98,4 %97 %98,5 %98 %
Construcción100 %100 %100 %100 %100 %99,8 %
Petróleo y gas100 %100 %100 %100 %100 %100 %
Telecomunicaciones100 %100 %100 %100 %100 %100 %
Logística100 %100 %100 %100 %100 %100 %

Por tipo de alerta · Vera, rondas 1–12

Vera emitió alertas de 18 tipos; en 15 no tuvo una sola alerta falsa, y las 25 falsas se concentran en 3. «Gerente y PMO no dicen lo mismo» todavía no se sostiene: 18 falsas y ninguna correcta, la última en la ronda 9, ninguna en la ronda 12. Es la que hay que reforzar.

Tipo de alertaCorrectasFalsasNo detectadasPrecisiónCobertura
Hito dado por cumplido sin evidencia98600100 %100 %
Compromiso vencido sin evidencia35504100 %98,9 %
Avance declarado que el plan no sostiene31400100 %100 %
Verde que la evidencia no sostiene27000100 %100 %
Entregable de proveedor vencido20200100 %100 %
Compromiso que nadie fechó16801100 %99,4 %
Desviación en tiempo11601100 %99,1 %
Compromiso prometido una y otra vez1062298,1 %98,1 %
Desviación en costo10100100 %100 %
Línea base movida más de lo autorizado6701100 %98,5 %
Entrega dada por aceptada sin evidencia535091,4 %100 %
Hito vencido5300100 %100 %
Cambio aprobado sin línea base nueva3500100 %100 %
Facturado sin entregable aceptado3400100 %100 %
Proyecto sin actividad2700100 %100 %
Facturado por encima de lo aceptado2600100 %100 %
Presupuesto comprometido sin holgura600100 %100 %
Gerente y PMO no dicen lo mismo01800 %—

Defectos

63 defectos registrados, cada uno con su origen, su corrección y la ronda que la verificó: 63 verificados y 0 por verificar. 18 vinieron del material, la clave o el arnés de pruebas, no de los agentes.

Defectos
OrigenDefectos
Código24
Instrucciones del agente20
Material de prueba10
Clave de calificación4
Arnés de pruebas4
Comportamiento del modelo1
AgenteDefectos
Vera29
Samuel11
Rostrum10
Alba9
Los tres4

Tiempo, consumo y próximo paso

Las 12 rondas tomaron 37 horas de ejecución para 624 proyectos: 3,5 minutos por proyecto, con todos los comandos de los tres agentes y el servidor. Usaron 1391 millones de tokens; en promedio, 116 millones por ronda.

Las actas, los informes y las síntesis que redacta el modelo de lenguaje (LLM) se verifican por el contrato de cada comando y por la aritmética de sus cifras. Si una versión es estable o de laboratorio lo dice esta evidencia, no su número: estable, con el piso del margen del 95 % en 95 % o más en cada agente y ninguna alerta en los proyectos de control (decisión 0020).

De dónde sale cada cifra

El análisis lo genera scripts/analisis.py desde tests/evidencias/ y la verificación del repositorio comprueba en cada cambio que diga lo que dice la evidencia. Esta página lo publica sin recalcular nada.

← Volver a la evidencia de la familia