profile-dataset

name	profile-dataset
description	Profiles a dataset to surface summary statistics, distributions, missing-value matrix, correlations, outliers, and data-quality issues with severity ratings.
when_to_use	ได้ dataset ใหม่/ไม่รู้จัก แล้วอยากเข้าใจมันก่อนเริ่มทำงาน — summary stats, เช็ก missing/outlier, ดู distribution/correlation, หรือขอ data-quality report ที่ระบุ severity + วิธีแก้

When to Use

ใช้เมื่อได้ dataset (CSV/Parquet/JSON/DB table/DataFrame) ที่ ยังไม่เข้าใจ แล้วต้อง EDA (exploratory data analysis) ก่อนทำงานต่อ:

• อยาก summary stats + dtype + cardinality + null rate ต่อ column
• เช็ก missing values, outliers, distribution, correlation
• ขอ data-quality report ที่ flag ปัญหา + ระบุ severity (high/med/low) + วิธีแก้

Read-only เสมอ — ห้าม mutate source. skill นี้แค่ inspect ไม่ transform.

แยกจาก skill ใกล้เคียง:

• wrangle = แก้/transform ข้อมูล (clean, reshape). profile แค่ "ดู" ไม่แตะ → ถ้าโจทย์คือ "clean/fix/แปลง" ใช้ wrangle.
• validate-data-quality = เช็กตาม rule/contract ที่กำหนดไว้ (pass/fail vs schema). profile เป็น ad-hoc EDA ที่ยัง ไม่มี rule → ใช้ profile เพื่อ "ค้นพบ" ปัญหา แล้วค่อยเขียน rule ให้ validate.

Steps

1. เปิดด้วย sample ก่อน full pass. อ่าน nrows≈1000 (หรือ LIMIT 1000) ก่อน เพื่อ infer schema + จับ dtype/encoding/delimiter ผิดแต่เนิ่นๆ ก่อน load ทั้งไฟล์. ระบุ shape (rows × cols) + ขนาดไฟล์/memory. ถ้าใหญ่กว่า RAM → ใช้ chunked read (chunksize) หรือ columnar engine (Polars/DuckDB/PyArrow) อย่า pd.read_csv ทั้งก้อน.

2. ทำ per-column profile (loop ทุก column). สำหรับแต่ละ column เก็บ: dtype (จริง ไม่ใช่ที่ pandas เดา), non_null / null_count / null_pct, n_unique (cardinality), และ sample 3–5 ค่า. จาก cardinality classify ชนิด:

   • n_unique == 1 → constant (flag, ดู step 5)
   • n_unique == n_rows → candidate ID/key (ห้ามเอาไปทำ stats/correlation)
   • low cardinality (เช่น < 50 หรือ < 5% ของ rows) → categorical
   • numeric dtype + high cardinality → numeric
   • parse ได้เป็น date → datetime (ลอง parse แม้ dtype เป็น object)

3. Numeric columns → distribution + outliers + correlation.

   • stats: count, mean, std, min, p25, p50, p75, max, skew. skew สูง (|skew| > 1) = แจกแจงเบ้ → บอกว่า mean ไม่ representative, ควรใช้ median.
   • outliers: IQR rule (นอก [Q1 − 1.5·IQR, Q3 + 1.5·IQR]) เป็น default; z-score (|z| > 3) ใช้เฉพาะเมื่อใกล้ normal เท่านั้น. รายงาน count + % ของ outlier ต่อ column ไม่ใช่ทุกแถว.
   • histogram: ใช้ bin หยาบ (เช่น 10 bins) สรุปรูปร่าง (unimodal/bimodal/uniform/skewed) เป็นข้อความ ไม่ต้อง dump ทุก bin.
   • correlation: คำนวณเฉพาะคู่ numeric. ใช้ Spearman ถ้า skew/มี outlier (robust กว่า Pearson). รายงานเฉพาะคู่ |r| > 0.7 (strong) อย่า dump matrix เต็ม. เตือนถ้าเจอ |r| ≈ 1.0 = อาจเป็น column ซ้ำ/leakage.

4. Categorical columns → top values + rare levels. รายงาน top 5–10 value พร้อม count + %. flag:

   • rare levels (level ที่ count น้อยมาก เช่น < 1% รวมกันเป็น long tail) → เสี่ยง noise/typo variant
   • near-duplicate levels จาก case/whitespace/encoding ("USA" vs "usa " vs "U.S.A") → normalize ก่อนนับจริง
   • high-cardinality categorical (เช่น free-text) → อย่าทำ one-hot, flag ว่าควร bucket/embed

5. Missing-data matrix + pattern detection. ไม่ใช่แค่ % รวม — ดู pattern:

   • rank column ตาม null_pct (สูงสุดก่อน)
   • co-missingness: column ไหนหายด้วยกันเสมอ (correlation ของ null-mask) → บอกว่า missing เป็น structural (เช่น มาจาก join/optional section) ไม่ใช่ random
   • MNAR signal: null กระจุกในบาง segment/ช่วงเวลา → missing not at random, การ drop/impute จะ bias
   • เตือน disguised missing: 0, -1, 999, "N/A", "null", "", epoch 1970-01-01 ที่จริงคือ missing แต่ไม่ถูกนับเป็น NaN

6. รวบ data-quality issues — แต่ละอันมี severity + fix. เช็กอย่างน้อย:

   Issue	severity ทั่วไป	recommended fix
   Constant column (1 ค่า)	low	drop — ไม่มี information
   Duplicate rows (full-row)	high	dedupe; ถ้าตั้งใจซ้ำ ต้องมี key/timestamp อธิบาย
   Duplicate on key column	high	สืบ source; เลือก row ที่ถูก (latest/non-null)
   High null % (เช่น > 50%)	high/med	drop column หรือ impute + เพิ่ม missing-flag
   Disguised missing (sentinel)	high	convert เป็น NaN ก่อน analysis ใดๆ
   Suspicious range (อายุ < 0 / > 120, price ≤ 0, lat นอก ±90)	high	กฎ domain; clip/flag/drop
   Mixed types ใน column เดียว	high	parse/cast ให้ consistent; หา row ที่ทำพัง
   Skewed/outlier-heavy numeric	med	บอก downstream ว่าต้อง transform (log/winsorize)
   Rare/typo categorical levels	med	normalize + map synonyms
   Near-perfect correlation / leakage	med	drop redundant; ถ้าจะ model ระวัง target leakage
   Datetime ที่ parse ไม่ได้/อนาคต	med	ตรวจ format/timezone; flag future dates

   จัด high ก่อน — high = ผิดแล้ว analysis ต่อจากนี้พังหมด (dup, sentinel, suspicious range, mixed type).

7. Emit summary ที่อ่านได้ ไม่ใช่ raw dump. Output เป็น report สั้น signal สูง:

   • Overview: shape, memory, จำนวน column แยกตาม type, จำนวน issue แยก severity
   • Per-column table: name · type · null% · cardinality · note สั้น (เฉพาะที่มีอะไรน่าสนใจ)
   • Issues เรียงตาม severity: [HIGH] <column>: <อาการ> → <fix>
   • Top correlations (ถ้ามี), distribution highlights (เฉพาะที่เบ้/bimodal)
   • Next steps: 2–4 action ที่ควรทำก่อนใช้ data นี้

   อย่า paste df.describe() ดิบ หรือ correlation matrix เต็ม หรือ histogram array — สรุปเป็นคำ.

Common Errors

• df.describe() แล้วจบ. มันให้แค่ numeric column, ข้าม categorical/datetime/null-pattern ทั้งหมด — ซึ่งคือที่ที่ปัญหาคุณภาพข้อมูลซ่อนอยู่จริง. ต้องทำครบ step 2–6.
• เชื่อ dtype ที่ pandas infer. column ตัวเลขที่มี ""/"N/A" ปนจะกลายเป็น object ทั้ง column; ID เลขล้วนกลายเป็น int แล้วโดนเอาไปทำ mean (ไร้ความหมาย). cast/parse เอง อย่าเชื่อ inference.
• disguised missing ไม่ถูกนับ. 0/-1/999/"unknown" ทำให้ null_pct ดูสวยแต่ mean/min/max เพี้ยน. scan sentinel ก่อนคำนวณ stats (step 5).
• z-score outlier บนข้อมูลเบ้. z-score สมมติ normal — บน distribution เบ้/มี outlier มันพังเพราะ mean/std โดน outlier ดึงเอง. ใช้ IQR เป็น default.
• Pearson บนข้อมูลมี outlier. outlier เดียวสร้าง correlation ปลอมได้. ใช้ Spearman เมื่อไม่ normal.
• average ของ ID/key column. mean ของ user_id/order_id ไม่มีความหมาย. exclude high-cardinality unique column ออกจาก numeric stats (step 2 classify ก่อน).
• โหลดไฟล์ใหญ่ทั้งก้อนจน OOM. sample + chunk/columnar engine ก่อน (step 1). ถ้า dataset มาจาก DB → ทำ profiling ด้วย SQL aggregate (COUNT, COUNT(DISTINCT), MIN, MAX, AVG) อย่า pull ทั้ง table มา client.
• mutate source. sort/fillna/dropna/cast บน DataFrame ต้นฉบับแล้วเขียนกลับ. ทำงานบน copy เท่านั้น; ห้าม write ทับไฟล์/table เดิม.
• dump ทุกอย่างใส่หน้าจอ. correlation matrix 50×50, histogram ทุก column, value_counts เต็ม = noise. สรุปเฉพาะที่ผิดปกติ.
• datetime ไม่ดู timezone/future. mixed tz หรือ date ในอนาคต/epoch 1970 มักเป็น bug ที่ describe มองไม่เห็น.

Verify

ถือว่าเสร็จเมื่อครบ:

• รายงาน shape + memory + จำนวน column แยก type ครบ
• ทุก column มี dtype + null% + cardinality (ไม่ข้าม column ไหน)
• numeric มี distribution + outlier (IQR) + correlation (เฉพาะคู่ strong); categorical มี top values + rare/typo flag
• missing-data pattern (ไม่ใช่แค่ % รวม) + scan disguised-missing แล้ว
• ทุก quality issue มี severity + recommended fix, เรียง high ก่อน
• output เป็น summary อ่านได้ + next steps — ไม่มี raw dump
• source ไม่ถูกแก้ (ทำบน copy / read-only query) — ยืนยันได้ว่า dataset เดิมไม่เปลี่ยน