菜单
Profiles a dataset to surface summary statistics, distributions, missing-value matrix, correlations, outliers, and data-quality issues with severity ratings.
默认使用会先检查来源的 Prompt；你也可以切换为直接命令，或下载本地副本。
决定是否安装前，请先阅读 SKILL.md，以及 SkillsMP 当前展示的配套文件。
用 Codex 或 Claude 帮你安装 复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。
直接命令不会经过审查 Prompt；运行前请先检查来源。
npx skills add https://github.com/Sir-chawakorn/sanook-cli --skill profile-dataset命令会保持在同一行。复制前请横向滚动并检查完整内容。
想先保存到本地？可下载 SkillsMP 当前能够提供的文件。
Gets machine-parseable JSON out of an LLM reliably — prefer provider-enforced grammar (OpenAI `response_format:{type:"json_schema",strict:true}`, Anthropic tool-calling / `tool_choice:{type:"tool"}`, Gemini `responseSchema`) over a "respond in JSON" prompt, define the contract once as a Pydantic/Zod model and validate every response (never trust the string), use constrained decoding / grammars for open weights (Outlines, llguidance, llama.cpp GBNF, vLLM `guided_json`), keep schemas SHALLOW with required fields + enums + `additionalProperties:false`, and build a repair-and-retry loop that handles refusals, `length`/`max_tokens` truncation, and streaming partial JSON (`partial-json-parser`). Schema-guided generation eliminates parse-error retries; validate-and-repair is the backstop, not the primary mechanism.
Builds production data grids that stay fast and accessible at 10k–1M+ rows — decide server-side vs client-side sort/filter/paginate by the dataset-fits-in-memory test (client only under ~10k rows, otherwise push to the API and treat the table as a controlled view of server state), ROW-VIRTUALIZE with TanStack Virtual or react-window so only the visible window mounts (fixed estimateSize, overscan 5–10, measureElement for dynamic rows, contain:strict, and a real scroll container — never table-layout:auto over thousands of rows), build the headless logic with TanStack Table v8 (or AG Grid when you need pinning/grouping/enterprise out of the box), add column resize/reorder/pin, inline edit with optimistic update + rollback on error, row selection with a stable rowId, full keyboard nav with roving tabindex over an ARIA grid (role=grid/row/gridcell, aria-sort, aria-rowcount/aria-rowindex so virtualization stays announced), position:sticky headers, streaming CSV export that doesn't block the main thread, and explici
Builds semantic/vector search — pick an embedding model + dimensionality (and whether to truncate Matryoshka dims) and the matching distance metric (cosine/dot/L2, normalize to unit length so cosine == dot and IP is correct), an ANN index with the recall/latency/memory tradeoff understood (HNSW M/efConstruction/efSearch for low-latency RAM-resident; IVF-PQ nlist/nprobe/PQ for billion-scale compressed; flat/exact for <100k) in pgvector/Qdrant/Milvus/FAISS/Pinecone, chunking + overlap + per-chunk metadata for filtering, HYBRID retrieval fusing BM25 + dense by Reciprocal Rank Fusion (RRF, k≈60) not score addition, a cross-encoder/Cohere reranker over the top-50→k, correct pre-filter-vs-ANN interaction (filterable HNSW, not post-filter that starves k), and offline eval with recall@k / nDCG@10 / MRR against a labeled qrels set. Quantize (scalar/PQ) only after measuring recall loss; tune efSearch/nprobe to a recall target, not a guess.
基于 SOC 职业分类
正在显示 SKILL.md
| name | profile-dataset |
| description | Profiles a dataset to surface summary statistics, distributions, missing-value matrix, correlations, outliers, and data-quality issues with severity ratings. |
| when_to_use | ได้ dataset ใหม่/ไม่รู้จัก แล้วอยากเข้าใจมันก่อนเริ่มทำงาน — summary stats, เช็ก missing/outlier, ดู distribution/correlation, หรือขอ data-quality report ที่ระบุ severity + วิธีแก้ |
ใช้เมื่อได้ dataset (CSV/Parquet/JSON/DB table/DataFrame) ที่ ยังไม่เข้าใจ แล้วต้อง EDA (exploratory data analysis) ก่อนทำงานต่อ:
Read-only เสมอ — ห้าม mutate source. skill นี้แค่ inspect ไม่ transform.
แยกจาก skill ใกล้เคียง:
เปิดด้วย sample ก่อน full pass. อ่าน nrows≈1000 (หรือ LIMIT 1000) ก่อน เพื่อ infer schema + จับ dtype/encoding/delimiter ผิดแต่เนิ่นๆ ก่อน load ทั้งไฟล์. ระบุ shape (rows × cols) + ขนาดไฟล์/memory. ถ้าใหญ่กว่า RAM → ใช้ chunked read (chunksize) หรือ columnar engine (Polars/DuckDB/PyArrow) อย่า pd.read_csv ทั้งก้อน.
ทำ per-column profile (loop ทุก column). สำหรับแต่ละ column เก็บ: dtype (จริง ไม่ใช่ที่ pandas เดา), non_null / null_count / null_pct, n_unique (cardinality), และ sample 3–5 ค่า. จาก cardinality classify ชนิด:
n_unique == 1 → constant (flag, ดู step 5)n_unique == n_rows → candidate ID/key (ห้ามเอาไปทำ stats/correlation)< 50 หรือ < 5% ของ rows) → categoricalNumeric columns → distribution + outliers + correlation.
count, mean, std, min, p25, p50, p75, max, skew. skew สูง (|skew| > 1) = แจกแจงเบ้ → บอกว่า mean ไม่ representative, ควรใช้ median.[Q1 − 1.5·IQR, Q3 + 1.5·IQR]) เป็น default; z-score (|z| > 3) ใช้เฉพาะเมื่อใกล้ normal เท่านั้น. รายงาน count + % ของ outlier ต่อ column ไม่ใช่ทุกแถว.|r| > 0.7 (strong) อย่า dump matrix เต็ม. เตือนถ้าเจอ |r| ≈ 1.0 = อาจเป็น column ซ้ำ/leakage.Categorical columns → top values + rare levels. รายงาน top 5–10 value พร้อม count + %. flag:
< 1% รวมกันเป็น long tail) → เสี่ยง noise/typo variant"USA" vs "usa " vs "U.S.A") → normalize ก่อนนับจริงMissing-data matrix + pattern detection. ไม่ใช่แค่ % รวม — ดู pattern:
0, -1, 999, "N/A", "null", "", epoch 1970-01-01 ที่จริงคือ missing แต่ไม่ถูกนับเป็น NaNรวบ data-quality issues — แต่ละอันมี severity + fix. เช็กอย่างน้อย:
| Issue | severity ทั่วไป | recommended fix |
|---|---|---|
| Constant column (1 ค่า) | low | drop — ไม่มี information |
| Duplicate rows (full-row) | high | dedupe; ถ้าตั้งใจซ้ำ ต้องมี key/timestamp อธิบาย |
| Duplicate on key column | high | สืบ source; เลือก row ที่ถูก (latest/non-null) |
| High null % (เช่น > 50%) | high/med | drop column หรือ impute + เพิ่ม missing-flag |
| Disguised missing (sentinel) | high | convert เป็น NaN ก่อน analysis ใดๆ |
| Suspicious range (อายุ < 0 / > 120, price ≤ 0, lat นอก ±90) | high | กฎ domain; clip/flag/drop |
| Mixed types ใน column เดียว | high | parse/cast ให้ consistent; หา row ที่ทำพัง |
| Skewed/outlier-heavy numeric | med | บอก downstream ว่าต้อง transform (log/winsorize) |
| Rare/typo categorical levels | med | normalize + map synonyms |
| Near-perfect correlation / leakage | med | drop redundant; ถ้าจะ model ระวัง target leakage |
| Datetime ที่ parse ไม่ได้/อนาคต | med | ตรวจ format/timezone; flag future dates |
จัด high ก่อน — high = ผิดแล้ว analysis ต่อจากนี้พังหมด (dup, sentinel, suspicious range, mixed type).
Emit summary ที่อ่านได้ ไม่ใช่ raw dump. Output เป็น report สั้น signal สูง:
[HIGH] <column>: <อาการ> → <fix>อย่า paste df.describe() ดิบ หรือ correlation matrix เต็ม หรือ histogram array — สรุปเป็นคำ.
df.describe() แล้วจบ. มันให้แค่ numeric column, ข้าม categorical/datetime/null-pattern ทั้งหมด — ซึ่งคือที่ที่ปัญหาคุณภาพข้อมูลซ่อนอยู่จริง. ต้องทำครบ step 2–6.""/"N/A" ปนจะกลายเป็น object ทั้ง column; ID เลขล้วนกลายเป็น int แล้วโดนเอาไปทำ mean (ไร้ความหมาย). cast/parse เอง อย่าเชื่อ inference.0/-1/999/"unknown" ทำให้ null_pct ดูสวยแต่ mean/min/max เพี้ยน. scan sentinel ก่อนคำนวณ stats (step 5).user_id/order_id ไม่มีความหมาย. exclude high-cardinality unique column ออกจาก numeric stats (step 2 classify ก่อน).COUNT, COUNT(DISTINCT), MIN, MAX, AVG) อย่า pull ทั้ง table มา client.ถือว่าเสร็จเมื่อครบ: