dashboard-judge

name

dashboard-judge

description

Skill conversacional que lee un dashboard (URL/screenshot) y devuelve hallazgos + hipótesis + palancas + sí/no experimento. La skill que separa al analista del CMO. Antes de juzgar hace un PASO CERO de auditoría (ley de Twyman), pregunta contexto/baseline/decisión/confianza, JAMÁS juzga un agregado sin segmentarlo, y lee resultados de experimentos con el prior realista (la mayoría fallan · significativo ≠ grande · no vale parar al ver que gana).

/dashboard-judge — Conversacional

Pattern

0. Audita — ¿me puedo creer estos números? (ley de Twyman)
1. Acoge — confirma dashboard (URL/screenshot)
2. Diagnose — 4 preguntas
3. Confirma — espejo
4. Produce — hallazgos (con al menos 1 corte segmentado) + hipótesis + palancas (con su guardrail) + experimento sí/no
5. Itera — ¿priorizamos palancas? ¿diseñamos experimento?

Paso 0 · Audita antes de juzgar (ley de Twyman)

"Cualquier cifra que parezca interesante o distinta probablemente está mal." Demasiado raro para ser verdad es un diagnóstico, no una expresión.

Antes de interpretar nada, barrido de 60 segundos sobre los datos que alimentan el dashboard:

• Valores imposibles: NPS fuera de 0-10 · tickets negativos · porcentajes >100 · fechas en formato roto o futuras.
• Campos que se contradicen: canal vs utm_source · ciudad vs código postal. Si no cuadran, ¿cuál es la verdad?
• Resultados espectaculares: si una métrica se movió mucho más que su variación típica, la explicación más probable es un bug de tracking, no un breakthrough. (En Bing, el experimento más rentable de su historia —+12% revenue— saltó primero como alerta de bug.)

Si aparece algo → se reporta como hallazgo de CALIDAD y se marca la métrica afectada con confianza BAJA. No se juzga un número que no te puedes creer.

Flujo

Q1 · Contexto negocio

"En 2 líneas: ¿qué hace el negocio + qué etapa (early · scale · maduro)?"

Q2 · Baseline

"¿Qué baseline importa? (YoY · histórico · target interno · benchmark sector)" → Usa VARIAS y mira qué dicen juntas: el mismo número puede ser desplome contra un mes pico y mejora contra el arranque. Si las lentes se contradicen, ahí hay un insight, no un error. → Benchmark por MODELO de negocio, no genérico (referencia rápida — retención a 6 meses GOOD/GREAT: consumer subscription 40/70 · SMB SaaS 60/80 · enterprise 70/90 · fuente Lenny Rachitsky & Casey Winters). Un 40% es excelente en consumer y agónico en enterprise.

Q3 · Decisión sobre la mesa

"¿Qué decisión vas a tomar? (cortar canal · escalar inversión · pivotear segmento · renegociar pricing)"

Q4 · Confianza disponible

"¿Cuánta data llevas? (semanas · meses · años), ¿hay eventos atípicos, y qué tamaño tienen tus muestras?" → Con muestras pequeñas los extremos son varianza, no señal: mira el n antes que el %.

Regla de oro · nunca juzgues el agregado sin segmentarlo

"All data in aggregate is crap" (Avinash Kaushik). Antes de emitir un hallazgo sobre una métrica global, pide o calcula 1-2 cortes (canal · segmento · device · ciudad):

• El agregado dice QUÉ pasó; el segmento dice DÓNDE y POR QUIÉN.
• Mix effects: si un agregado se movió, pregunta primero ¿cambió el comportamiento o cambió quién entra? (la conversión global puede caer sin que ningún segmento convierta peor — solo cambió el mix de tráfico).
• Paradoja de Simpson (el extremo): el agregado puede INVERTIRSE al segmentar — una variante puede ganar todos los días y perder en el total si el reparto de tráfico cambió. Un canal puede "ganar" en global y ser el peor para el segmento que más te importa.

Produce

DASHBOARD JUDGED · {timestamp}

AUDITORÍA (paso 0)
  ¿Datos creíbles? {sí / hallazgos de calidad: valores imposibles · campos contradictorios · saltos sospechosos}

HALLAZGOS (3-5 · al menos 1 con corte segmentado)
  H1: {dato} · {comparativa baseline} · {segmento donde vive} · {confianza alta/media/baja}
  H2: ...

HIPÓTESIS DE CAUSA (por hallazgo)
  H1 causa probable: ... · señales que lo respaldan: ... · ¿podría ser mix y no comportamiento?

PALANCAS POSIBLES (3-5 · cada una con su guardrail)
  P1 · {palanca} · esperado: ... · esfuerzo: {quick/slow} · guardrail: {la métrica que NO debe romperse}

¿NECESITAS EXPERIMENTO?
  Por palanca top 3:
    SÍ si: riesgo alto · irreversible · señal ambigua (ej. ratio brutal con muestra pequeña) · disputa interna
    NO si: efecto obvio · low-cost reversible

SI YA HAY UN RESULTADO DE EXPERIMENTO SOBRE LA MESA
  · Prior realista: en las empresas top solo gana el 10-33% de los experimentos — un "ganador" con datos flojos es más probablemente ruido.
  · Significativo ≠ grande: la significancia habla de confianza, no de tamaño. Mira el tamaño del efecto y su intervalo.
  · ¿Se fijó la duración ANTES? Parar el test "en cuanto gana" (peeking) dispara los falsos positivos del 5% a ~26%.
  · Descuenta el uplift del ganador (winner's curse): los efectos reales post-lanzamiento son sistemáticamente menores que los medidos.

PRÓXIMOS PASOS (5)
  1. {esta semana} · responsable {persona}

Itera

"¿Priorizo con /prioritize-macro-micro? ¿Diseño experimento de la top? ¿Te lo paso a /data-story?"

Reglas

• Paso 0 siempre: no se juzga un número sin auditarlo (Twyman)
• Hallazgos SOLO con baseline — y al menos uno segmentado
• Ante cualquier movimiento de un agregado: ¿comportamiento o mix?
• Confianza explícita (y muestra pequeña = confianza baja, por buena que parezca)
• Hipótesis con señales en el data, no opinión
• Palancas accionables esta semana (no 'mejorar marca') — y ningún KPI viaja solo: cada palanca lleva su guardrail
• Experimento sí/no por palanca · resultados de experimento se leen con el prior realista

Ejemplo HC

Input: URL dashboard consolidado HC · scale · baseline media 6 meses + target · decisión budget H2 · 6 meses data

Output:

• Auditoría: NPS=11 (imposible · escala 0-10) y ticket −3.600€ detectados → métricas de satisfacción y revenue por cliente marcadas confianza MEDIA hasta limpiar
• H1: CR junio 15% vs media 18,4% · 3 de los últimos 4 meses por debajo (media) — pero al segmentar: el bajón vive en Meta/tablet, no es general
• H2 (segmentado): Google Ads 19% global esconde F 28% · M 30% · Otro 3% — y "Otro" es ⅓ de sus leads · en Meta ese segmento hace 22%
• H1 hipótesis: mix (más peso de canales/dispositivos fríos), no caída de comportamiento — verificar antes de tocar creatividades
• P1: reasignar presupuesto del segmento Otro de Google → Meta · guardrail: CAC blended y volumen total de leads
• P2: escalar Email (×181 de retorno) · SÍ experimentar — 40 leads = señal ambigua · guardrail: tasa de baja/spam
• Próximos pasos: lunes limpiar los 4 registros rotos · miércoles corte por género en el dashboard · viernes diseño experimento Email (5 piezas)