메뉴
Gera relatorio de avaliacao de modelo ML com metricas, graficos e comparacao. Triggers on /ml-eval-report.
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
Simula revisao por pares de um manuscrito cientifico proprio, como se fosse um revisor anonimo de journal. Avalia 8 dimensoes (Titulo/Abstract, Introducao, Metodos, Resultados, Discussao, Conclusoes, Referencias, Escrita), atribui nota 1-5 a cada uma, lista revisoes prioritarias e emite decisao editorial (Aceito / Revisoes menores / Revisoes maiores / Rejeitar). Diferente de paper-review, que le artigos externos: peer-review e para voce revisar o seu proprio manuscrito antes de submeter. Triggers on /peer-review, "faz peer review do meu artigo", "revisa meu manuscrito como revisor", "simula revisao editorial", "o que um revisor diria do meu paper", "avalia meu manuscrito para submissao".
Adiciona um novo desfecho preditivo ao pipeline datasus-ai-prediction do LABDAPS. Cria a subclasse de OutcomeConfig em core/outcomes/, registra no __init__ e segue o padrao dos desfechos existentes (SIH, SIM, SINASC, SINAN). Triggers on /datasus-outcome, "novo desfecho", "adiciona um outcome", "criar um desfecho no datasus", "modelar X no datasus".
Pipeline padrao de ML para projetos de saude. Data loading, preprocessing, train, eval com metricas clinicas. Triggers on /ml-pipeline.
Reune evidencias cientificas e escreve artigos academicos em IA medica e saude com rigor metodologico. Aplica reporting guidelines (TRIPOD+AI, STROBE, PRISMA, CONSORT, STARD, ARRIVE, CARE, GRADE), estrutura IMRaD, citacoes Vancouver/AMA, e remove padroes de escrita gerados por IA. Pipeline em 7 fases: scoping, evidence gathering, methods design, drafting, anti-IA polish, peer-review interno, submission package. Triggers on /artigo, "escreve um paper sobre", "monta o manuscrito", "estrutura artigo cientifico", "redige um artigo", "reune evidencias para artigo", "prepara submissao".
Setup de modelos de series temporais para saude. Skforecast, ARIMA, LSTM, Prophet. Triggers on /ml-timeseries.
Leitura critica de artigo cientifico. Resume, avalia metodologia, pontos fortes/fracos e relevancia. Triggers on /paper-review.
| name | ml-eval-report |
| description | Gera relatorio de avaliacao de modelo ML com metricas, graficos e comparacao. Triggers on /ml-eval-report. |
Gera relatorio completo de avaliacao de modelo de Machine Learning.
y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)[:, 1] # para classificacao
from sklearn.metrics import (
roc_auc_score, average_precision_score,
classification_report, brier_score_loss,
confusion_matrix
)
Tabela de metricas:
| Metrica | Valor |
|---|---|
| AUROC | |
| AUPRC | |
| Sensibilidade | |
| Especificidade | |
| F1-Score | |
| Brier Score | |
| Accuracy |
Gerar e salvar em results/:
Se houver multiplos modelos, gerar tabela comparativa e grafico de barras.
results/metrics.jsonresults/figures/No pipeline do laboratorio (datasus-ai-prediction) a avaliacao ja esta pronta em core/models/evaluation.py, com graficos Plotly (interativos, nao matplotlib). Reuse essas funcoes em vez de reimplementar.
O train_cv devolve oof_probs. Todos os graficos recebem (y_true, oof_probs), nao predicao no treino.
from core.models import evaluation as ev
ev.roc_chart(y, res["oof_probs"])
ev.pr_chart(y, res["oof_probs"])
ev.calibration_chart(y, res["oof_probs"], n_bins=10)
ev.threshold_curve_chart(y, res["oof_probs"])
ev.importance_chart(res["feature_importances"], top_n=20)
ev.fold_metrics_table(res["fold_metrics"])
ev.shap_summary(res["model"], X) # importancia global
ev.shap_beeswarm(res["model"], X) # direcao do efeito
ev.shap_waterfall_chart(res["model"], X, case_idx=0) # explicacao de um caso
Modelo clinico precisa ser auditado por subgrupo (sexo, raca/cor, faixa etaria, regiao). Nao reporte so a metrica agregada.
ev.subgroup_metrics_table(y, res["oof_probs"], groups) # AUROC/sens/esp por grupo
ev.threshold_metrics(y, res["oof_probs"], threshold=0.5)
Para checar transportabilidade do modelo entre UFs ou anos:
ev.metrics_comparison_table(comparison_results)
ev.calibration_comparison_chart(...)
ev.shap_comparison_chart(...)
AUROC e AUPRC, Brier antes e depois da calibracao, calibracao visual, SHAP global, e a tabela de metricas por subgrupo. AUROC alto sem calibracao e sem analise de equidade nao basta para um modelo de risco em saude.