Menú
Gera relatorio de avaliacao de modelo ML com metricas, graficos e comparacao. Triggers on /ml-eval-report.
Instalar con Codex o Claude Copia este prompt, pégalo en Codex, Claude u otro asistente, y deja que revise la página de la skill y la instale por ti.
Basado en la clasificación ocupacional SOC
Simula revisao por pares de um manuscrito cientifico proprio, como se fosse um revisor anonimo de journal. Avalia 8 dimensoes (Titulo/Abstract, Introducao, Metodos, Resultados, Discussao, Conclusoes, Referencias, Escrita), atribui nota 1-5 a cada uma, lista revisoes prioritarias e emite decisao editorial (Aceito / Revisoes menores / Revisoes maiores / Rejeitar). Diferente de paper-review, que le artigos externos: peer-review e para voce revisar o seu proprio manuscrito antes de submeter. Triggers on /peer-review, "faz peer review do meu artigo", "revisa meu manuscrito como revisor", "simula revisao editorial", "o que um revisor diria do meu paper", "avalia meu manuscrito para submissao".
Adiciona um novo desfecho preditivo ao pipeline datasus-ai-prediction do LABDAPS. Cria a subclasse de OutcomeConfig em core/outcomes/, registra no __init__ e segue o padrao dos desfechos existentes (SIH, SIM, SINASC, SINAN). Triggers on /datasus-outcome, "novo desfecho", "adiciona um outcome", "criar um desfecho no datasus", "modelar X no datasus".
Pipeline padrao de ML para projetos de saude. Data loading, preprocessing, train, eval com metricas clinicas. Triggers on /ml-pipeline.
Reune evidencias cientificas e escreve artigos academicos em IA medica e saude com rigor metodologico. Aplica reporting guidelines (TRIPOD+AI, STROBE, PRISMA, CONSORT, STARD, ARRIVE, CARE, GRADE), estrutura IMRaD, citacoes Vancouver/AMA, e remove padroes de escrita gerados por IA. Pipeline em 7 fases: scoping, evidence gathering, methods design, drafting, anti-IA polish, peer-review interno, submission package. Triggers on /artigo, "escreve um paper sobre", "monta o manuscrito", "estrutura artigo cientifico", "redige um artigo", "reune evidencias para artigo", "prepara submissao".
Setup de modelos de series temporais para saude. Skforecast, ARIMA, LSTM, Prophet. Triggers on /ml-timeseries.
Leitura critica de artigo cientifico. Resume, avalia metodologia, pontos fortes/fracos e relevancia. Triggers on /paper-review.
| name | ml-eval-report |
| description | Gera relatorio de avaliacao de modelo ML com metricas, graficos e comparacao. Triggers on /ml-eval-report. |
Gera relatorio completo de avaliacao de modelo de Machine Learning.
y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)[:, 1] # para classificacao
from sklearn.metrics import (
roc_auc_score, average_precision_score,
classification_report, brier_score_loss,
confusion_matrix
)
Tabela de metricas:
| Metrica | Valor |
|---|---|
| AUROC | |
| AUPRC | |
| Sensibilidade | |
| Especificidade | |
| F1-Score | |
| Brier Score | |
| Accuracy |
Gerar e salvar em results/:
Se houver multiplos modelos, gerar tabela comparativa e grafico de barras.
results/metrics.jsonresults/figures/No pipeline do laboratorio (datasus-ai-prediction) a avaliacao ja esta pronta em core/models/evaluation.py, com graficos Plotly (interativos, nao matplotlib). Reuse essas funcoes em vez de reimplementar.
O train_cv devolve oof_probs. Todos os graficos recebem (y_true, oof_probs), nao predicao no treino.
from core.models import evaluation as ev
ev.roc_chart(y, res["oof_probs"])
ev.pr_chart(y, res["oof_probs"])
ev.calibration_chart(y, res["oof_probs"], n_bins=10)
ev.threshold_curve_chart(y, res["oof_probs"])
ev.importance_chart(res["feature_importances"], top_n=20)
ev.fold_metrics_table(res["fold_metrics"])
ev.shap_summary(res["model"], X) # importancia global
ev.shap_beeswarm(res["model"], X) # direcao do efeito
ev.shap_waterfall_chart(res["model"], X, case_idx=0) # explicacao de um caso
Modelo clinico precisa ser auditado por subgrupo (sexo, raca/cor, faixa etaria, regiao). Nao reporte so a metrica agregada.
ev.subgroup_metrics_table(y, res["oof_probs"], groups) # AUROC/sens/esp por grupo
ev.threshold_metrics(y, res["oof_probs"], threshold=0.5)
Para checar transportabilidade do modelo entre UFs ou anos:
ev.metrics_comparison_table(comparison_results)
ev.calibration_comparison_chart(...)
ev.shap_comparison_chart(...)
AUROC e AUPRC, Brier antes e depois da calibracao, calibracao visual, SHAP global, e a tabela de metricas por subgrupo. AUROC alto sem calibracao e sem analise de equidade nao basta para um modelo de risco em saude.