← Criterio · Familia CLO

Evidencia de pruebas

Criterio CLO · Contratos y cumplimientoAnálisis estadístico de las pruebas

Cómo rinden Fidel y Constanza en 12 rondas de prueba, con el margen de cada resultado y cada falla con su origen. Se regenera desde la evidencia del repositorio con cada ronda.

Ronda completa más reciente: 12

José Ñáñez
José ÑáñezTechnology Advisor · Board Member
Publicado 23 de octubre de 2026Actualizado 30 de octubre de 20266 min de lectura

En una mirada

La ronda más reciente, la 12, parcial, sobre 4 de las 43 entidades del material: 22 de 22 señales sembradas encontradas (margen del 95 %: 85,1–100 %) y 0 de más; 569 de 569 datos extraídos bien (100 %, margen del 95 %: 99,3–100 %); y 1 de 1 entidades de control sin ninguna señal.

Sumando las rondas 1–12, 265 de 265 señales encontradas, 0 de más y 7024 de 7043 datos bien. Las rondas repiten el mismo material: no son muestras independientes, y el margen se calcula sobre los casos de cada una.

Qué se probó y cómo

En cada entidad corren el setup y el procesamiento de Fidel y Constanza —los comandos que procesan los documentos y escriben las fichas—, con un tope de tokens fijado antes de empezar, sobre un material que trae su clave aparte, que nadie ve. Los demás comandos calculan sobre esas fichas con el motor, que se prueba con cada cambio del repositorio. Las señales se comparan por su nombre y su clave; la extracción, campo por campo, contra lo que traen los documentos escritos. Las entidades de control no tienen ningún defecto sembrado: cualquier señal en ellas es una falla.

Cobertura: de las señales sembradas, cuántas encontró. Precisión: de las que levantó, cuántas eran correctas. Margen del 95 %: intervalo de confianza de Wilson sobre los casos.

Rondas
12; la más reciente, la 12, es parcial
Material
Banca · Honduras, Entidad pública · Honduras, Retail · Honduras
Entidades de control
Control · Honduras
Corridas de una entidad
51
Señales sembradas
265
Datos calificados
7043

Resultados acumulados · rondas 1–12

MétricaCasosResultadoMargen del 95 %
Señales · cobertura265 de 265100 %98,5–100 %
Señales · precisión265 de 265100 %98,5–100 %
Extracción · datos correctos7024 de 704399,7 %99,5–99,9 %
Control · sin ninguna señal16 de 16100 %80,6–100 %

Evolución por ronda

Una ronda que no corre todas las entidades es parcial: la primera, pequeña, antes de la completa, o una de verificación, que repite las corridas que un defecto corregido dejó pendientes.

Evolución por ronda
RondaEntidadesSeñales · coberturaSeñales · precisiónExtracciónControl sin señalesTokensDefectos
13100 %100 %98,5 %2 de 219,1 M5
26100 %100 %99,1 %2 de 243,7 M4
32100 %100 %99,6 %1 de 111 M0
47100 %100 %99,9 %3 de 321,6 M1
54100 %100 %99,8 %2 de 212,1 M1
63100 %100 %100 %1 de 19,3 M1
77100 %100 %99,7 %0 de 013,5 M2
84100 %100 %100 %1 de 111,5 M0
94100 %100 %100 %1 de 111,9 M0
103100 %100 %100 %1 de 19,9 M0
114100 %100 %100 %1 de 112,6 M0
124100 %100 %100 %1 de 111,8 M0

La ronda más reciente · ronda 12

MétricaCasosResultadoMargen del 95 %
Señales · cobertura22 de 22100 %85,1–100 %
Señales · precisión22 de 22100 %85,1–100 %
Extracción · datos correctos569 de 569100 %99,3–100 %
Control · sin ninguna señal1 de 1100 %20,6–100 %

Por industria y país · ronda 12

MaterialAgentesSeñalesDe másExtracciónTokens
Banca · HondurasConstanza, Fidel10 de 100132 de 1323 M
Entidad pública · HondurasFidel2 de 20152 de 1521,9 M
Retail · HondurasConstanza, Fidel10 de 100153 de 1533,3 M
Control · HondurasConstanza, Fidel0 de 00132 de 1323,5 M

Lo que falló, uno por uno · rondas 1–12

19 fallas en 51 corridas, cada una con el defecto que la explica: su origen dice si falló el agente o la prueba. Las cifras son las de la calificación original: 4 de esas fallas vinieron de la prueba —el arnés o la clave—, no del agente, y con la prueba corregida se califican como correctas.

RondaMaterialQuéDóndeDefectoOrigen
1Control · ColombiaDato calificado como malcontratos/CTR-501 · obligationsCLO-4Instrucciones del agente
1Control · ColombiaDato calificado como malcontratos/CTR-502 · obligationsCLO-4Instrucciones del agente
1Control · ColombiaDato calificado como malcontratos/CTR-503 · obligationsCLO-4Instrucciones del agente
1Control · ColombiaDato calificado como malcontratos/CTR-504 · obligationsCLO-4Instrucciones del agente
1Control · ColombiaDato calificado como malcontratos/CTR-505 · obligationsCLO-4Instrucciones del agente
1Control · ColombiaDato calificado como malcumplimiento · new_rulesCLO-5Arnés de pruebas
2Banca · ColombiaDato calificado como malcontratos/CTR-101 · obligationsCLO-9Arnés de pruebas
2Control · ColombiaDato calificado como malcumplimiento · declared.statusCLO-6Instrucciones del agente
2Control · ColombiaDato calificado como malcumplimiento · declared.dateCLO-6Instrucciones del agente
2Control · ColombiaDato calificado como malcumplimiento · declared.sourceCLO-6Instrucciones del agente
2Control · ColombiaDato calificado como malcumplimiento · new_rulesCLO-6Instrucciones del agente
2Minería · EcuadorDato calificado como malcontratos/CTR-405 · signed_onCLO-8Instrucciones del agente
2Minería · EcuadorDato calificado como malcontratos/CTR-405 · signatoriesCLO-7Clave de calificación
3Control · ColombiaDato calificado como malcontratos/CTR-501 · obligationsCLO-9Arnés de pruebas
4Control · PerúDato calificado como malcontratos/CTR-902 · obligationsCLO-10Instrucciones del agente
5Control · MéxicoDato calificado como malcontratos/CTR-1502 · obligationsCLO-11Instrucciones del agente
7Entidad pública · BrasilDato calificado como malcontratos/CTR-2402 · public.systemCLO-14Instrucciones del agente
7Entidad pública · BrasilDato calificado como malcontratos/CTR-2402 · public.sourceCLO-14Instrucciones del agente
7Entidad pública · ColombiaDato calificado como malcontratos/CTR-1902 · end——

Defectos

14 defectos registrados, cada uno con su origen, su corrección y la corrida que la verificó: 14 verificados y 0 por verificar. 6 vinieron del material, la clave o el arnés de pruebas, no de los agentes.

Defectos
OrigenDefectos
Instrucciones del agente6
Arnés de pruebas4
Código2
Clave de calificación2
AgenteDefectos
Fidel8
Constanza5
Ninguno1

Consumo y próximo paso

Las 12 rondas usaron 190,4 millones de tokens: 187,9 millones en las corridas calificadas y 2,4 en las que se repitieron después de corregir un defecto. En promedio, 3,7 millones por entidad.

El material es sintético. Si una versión es estable o de laboratorio lo dice esta evidencia, no su número: estable, con el piso del margen del 95 % en 95 % o más en señales y en datos sobre la corrida más reciente de cada entidad, y ninguna señal en los controles (decisión 0020).

De dónde sale cada cifra

El análisis lo genera scripts/analisis_familias.py desde tests/evidencias/familias/clo/ y la verificación del repositorio comprueba en cada cambio que diga lo que dice la evidencia. Esta página lo publica sin recalcular nada.

← Volver a la evidencia de la familia