ml-baseline

name	ml-baseline
description	เริ่มโปรเจกต์ ML อย่างถูกวินัย — เลือก metric ให้ตรงราคาความผิดพลาดจริง, split ข้อมูลไม่ให้รั่ว (time-based / group-based), สร้าง baseline ที่โง่ที่สุดเป็นโค้ดจริงก่อน แล้วค่อยอนุญาตให้โมเดลซับซ้อน — ทุก run วัดด้วย eval harness ตัวเดียวกัน Trigger on "เริ่มโปรเจกต์ ml", "ทำ baseline", "วาง eval", "ml baseline", or when the user starts any new ML/prediction project.

ml-baseline — โมเดลหรูที่แพ้ค่าเฉลี่ย มีอยู่จริงและเยอะกว่าที่คิด

ลำดับนี้บังคับ — แต่ละขั้นกันความผิดพลาดที่ย้อนกลับมาแก้แพงมาก ห้ามข้าม:

1. โจทย์ + Metric (ก่อนแตะข้อมูล)

• ถามให้ได้ว่า ตัวเลขไหนที่คนใช้งานสนจริง และความผิดพลาดแบบไหนแพงกว่า — FP กับ FN ราคาเท่ากันแทบไม่มีจริง
• เลือก metric ตามราคานั้น: imbalanced → PR-AUC / F-beta (ไม่ใช่ accuracy — กับดักอันดับหนึ่ง: 99% accuracy บนข้อมูลที่ positive มี 1% = โมเดลตอบ "ไม่" ทุกข้อ), regression → ดูว่า outlier ควรลงโทษแรงไหม (RMSE vs MAE), ranking → metric ที่ตัดที่ K จริงของ product
• ตั้งเป้าขั้นต่ำที่คุ้มใช้งานไว้ก่อนเห็นผล — กัน "ได้เท่าไหร่ก็บอกว่าดี"

2. Split ก่อนสำรวจ

• กันข้อมูล test ออกก่อน EDA ลึก — ตาเห็น test set ก็รั่วแล้ว
• มีมิติเวลา → time-based split (train อดีต วัด อนาคต) — random split บนข้อมูล temporal คือ leakage เงียบที่พบบ่อยสุด
• entity เดิมโผล่หลายแถว (user, คนไข้, ร้าน) → group split — entity เดียวกันห้ามคร่อม train/test
• test set แตะครั้งเดียวตอนจบ — ระหว่างพัฒนาใช้ validation/CV เท่านั้น

3. Baseline โง่ (นี่คือพื้นของทั้งโปรเจกต์)

• Classification → ทายคลาสใหญ่สุด / regression → ทายค่าเฉลี่ย-มัธยฐาน / time series → ทายค่าเมื่อวาน (naive last-value — ชนะยากกว่าที่คิดมาก) / มี rule ธุรกิจเดิม → rule นั้นแหละคือ baseline
• เขียนเป็นโค้ดจริง รันจริง ได้ตัวเลขจริง — ไม่ใช่พูดปากเปล่า

4. Baseline ฉลาดขึ้นหนึ่งขั้น

• Linear/logistic regression หรือ gradient boosting เล็กๆ บน features ตรงไปตรงมา
• ช่องว่างระหว่างขั้น 3 กับขั้น 4 บอกว่า signal อยู่ใน data แค่ไหน — ถ้าขั้น 4 ชนะขั้น 3 นิดเดียว โมเดลใหญ่กว่านี้ก็มักช่วยได้อีกนิดเดียว ปัญหาอยู่ที่ data/features ไม่ใช่โมเดล

5. Eval harness หนึ่งเดียว

• สคริปต์เดียว (src/eval.py หรือเทียบเท่า) ที่รับ predictions → คืน metrics ครบ — ทุกโมเดลผ่านทางนี้เท่านั้น ห้ามใครคำนวณ metric เอง
• Seed คงที่ทุกจุด, split ถูก save/fix ไว้ ไม่ re-split ต่อ run
• เริ่ม EXPERIMENTS.md ที่ root ด้วยผล baseline ทั้งสองขั้น — จากนี้ทุกการทดลองเทียบกับเลขนี้ (ส่งไม้ต่อสกิล experiment-log)

กติกา

• User ขอข้ามไป deep model เลย → เตือนหนึ่งครั้งพร้อมเหตุผล (ไม่มี baseline = ไม่มีทางรู้ว่าความซับซ้อนซื้ออะไรมา) แล้วทำตามที่เขายืนยัน — เถียงรอบเดียวพอ
• ทุกขั้นจบด้วยโค้ดที่รันได้จริงใน repo ไม่ใช่คำอธิบาย