← Criterio · Familia CCO

Evidencia de pruebas

Criterio CCO · La función comercialAnálisis estadístico de las pruebas

Cómo rinden Augusto y Valeria en 2 rondas de prueba, con el margen de cada resultado y cada falla con su origen. Se regenera desde la evidencia del repositorio con cada ronda.

Ronda completa más reciente: 2

José Ñáñez
José ÑáñezTechnology Advisor · Board Member
Publicado 30 de octubre de 2026Actualizado 30 de octubre de 20265 min de lectura

En una mirada

La ronda más reciente, la 2, parcial, sobre 9 de las 15 entidades del material: 117 de 117 señales sembradas encontradas (margen del 95 %: 96,8–100 %) y 0 de más; 45 de 45 datos extraídos bien (100 %, margen del 95 %: 92,1–100 %); y 3 de 3 entidades de control sin ninguna señal.

Sumando las rondas 1–2, 228 de 236 señales encontradas, 3 de más y 100 de 100 datos bien. Las rondas repiten el mismo material: no son muestras independientes, y el margen se calcula sobre los casos de cada una.

Qué se probó y cómo

En cada entidad corren el setup y el procesamiento de Augusto y Valeria —los comandos que procesan los documentos y escriben las fichas—, con un tope de tokens fijado antes de empezar, sobre un material que trae su clave aparte, que nadie ve. Los demás comandos calculan sobre esas fichas con el motor, que se prueba con cada cambio del repositorio. Las señales se comparan por su nombre y su clave; la extracción, campo por campo, contra lo que traen los documentos escritos. Las entidades de control no tienen ningún defecto sembrado: cualquier señal en ellas es una falla.

Cobertura: de las señales sembradas, cuántas encontró. Precisión: de las que levantó, cuántas eran correctas. Margen del 95 %: intervalo de confianza de Wilson sobre los casos.

Rondas
2; la más reciente, la 2, es parcial
Material
Manufactura · Perú, Retail · Chile, Retail · Ecuador, Servicios · Perú, Tecnología · Chile, Tecnología · Ecuador
Entidades de control
Control · Chile, Control · Ecuador, Control · Perú
Corridas de una entidad
20
Señales sembradas
236
Datos calificados
100

Resultados acumulados · rondas 1–2

MétricaCasosResultadoMargen del 95 %
Señales · cobertura228 de 23696,6 %93,4–98,3 %
Señales · precisión228 de 23198,7 %96,2–99,6 %
Extracción · datos correctos100 de 100100 %96,3–100 %
Control · sin ninguna señal6 de 875 %40,9–92,9 %

Evolución por ronda

Una ronda que no corre todas las entidades es parcial: la primera, pequeña, antes de la completa, o una de verificación, que repite las corridas que un defecto corregido dejó pendientes.

Evolución por ronda
RondaEntidadesSeñales · coberturaSeñales · precisiónExtracciónControl sin señalesTokensDefectos
11093,3 %98,2 %100 %3 de 430,9 M3
210100 %99,2 %100 %3 de 430,4 M1

La ronda más reciente · ronda 2

MétricaCasosResultadoMargen del 95 %
Señales · cobertura117 de 117100 %96,8–100 %
Señales · precisión117 de 117100 %96,8–100 %
Extracción · datos correctos45 de 45100 %92,1–100 %
Control · sin ninguna señal3 de 3100 %43,8–100 %

Por industria y país · ronda 2

MaterialAgentesSeñalesDe másExtracciónTokens
Manufactura · PerúAugusto, Valeria20 de 2005 de 53,2 M
Retail · ChileAugusto, Valeria19 de 1905 de 53,2 M
Retail · EcuadorAugusto, Valeria18 de 1805 de 53,2 M
Servicios · PerúAugusto, Valeria20 de 2005 de 53,1 M
Tecnología · ChileAugusto, Valeria20 de 2005 de 53 M
Tecnología · EcuadorAugusto, Valeria20 de 2005 de 53,1 M
Control · ChileAugusto, Valeria0 de 005 de 52,6 M
Control · EcuadorAugusto, Valeria0 de 005 de 53,1 M
Control · PerúAugusto, Valeria0 de 015 de 52,9 M
Control · PerúAugusto, Valeria0 de 005 de 52,9 M

Lo que falló, uno por uno · rondas 1–2

11 fallas en 20 corridas, cada una con el defecto que la explica: su origen dice si falló el agente o la prueba. Las cifras son las de la calificación original: 0 de esas fallas vinieron de la prueba —el arnés o la clave—, no del agente, y con la prueba corregida se califican como correctas.

RondaMaterialQuéDóndeDefectoOrigen
1Control · MéxicoSeñal de más["commission_differs_from_plan", "comision:2026-10:isabel_mendez"]——
1Control · MéxicoSeñal de más["commission_differs_from_plan", "comision:2026-10:oscar_delgado"]——
1Servicios · MéxicoSeñal no encontrada["close_date_slipped", "corre:OPP-1504"]——
1Servicios · MéxicoSeñal no encontrada["close_date_slipped", "corre:OPP-1526"]——
1Servicios · MéxicoSeñal no encontrada["close_date_slipped", "corre:OPP-1527"]——
1Servicios · MéxicoSeñal no encontrada["close_date_slipped", "corre:OPP-1528"]——
1Tecnología · ColombiaSeñal no encontrada["close_date_slipped", "corre:OPP-1204"]——
1Tecnología · ColombiaSeñal no encontrada["close_date_slipped", "corre:OPP-1226"]——
1Tecnología · ColombiaSeñal no encontrada["close_date_slipped", "corre:OPP-1227"]——
1Tecnología · ColombiaSeñal no encontrada["close_date_slipped", "corre:OPP-1228"]——
2Control · PerúSeñal de más["stalled_opportunity", "detenida:OPP-2205"]CCO-4Instrucciones del agente

Defectos

4 defectos registrados, cada uno con su origen, su corrección y la corrida que la verificó: 4 verificados y 0 por verificar. 2 vinieron del material, la clave o el arnés de pruebas, no de los agentes.

Defectos
OrigenDefectos
Arnés de pruebas1
Material de prueba1
Código1
Instrucciones del agente1
AgenteDefectos
Augusto3
Valeria1

Consumo y próximo paso

Las 2 rondas usaron 61,3 millones de tokens: 61,3 millones en las corridas calificadas y 0 en las que se repitieron después de corregir un defecto. En promedio, 3,1 millones por entidad.

El material es sintético. Si una versión es estable o de laboratorio lo dice esta evidencia, no su número: estable, con el piso del margen del 95 % en 95 % o más en señales y en datos sobre la corrida más reciente de cada entidad, y ninguna señal en los controles (decisión 0020).

De dónde sale cada cifra

El análisis lo genera scripts/analisis_familias.py desde tests/evidencias/familias/cco/ y la verificación del repositorio comprueba en cada cambio que diga lo que dice la evidencia. Esta página lo publica sin recalcular nada.

← Volver a la evidencia de la familia