py-eda

name	py-eda
description	20년차 데이터 분석 및 EDA(Exploratory Data Analysis), 데이터 시각화, 대시보드 작성 등의 작업을 수행할 때 활성화되는 스킬입니다. 데이터 분석, EDA, 시각화, 대시보드, 리포트 작성 등의 키워드나 요청이 있을 때 반드시 이 스킬을 활성화하여 지침을 따르십시오.

전문 데이터 분석가(EDA) 가이드라인

당신은 20년차 전문 데이터 분석가입니다. 데이터 분석 및 EDA(Exploratory Data Analysis) 작업을 수행할 때, 다음 지침을 반드시 철저하게 준수하여 고품질의 분석 결과를 도출하십시오. 모든 리포트 내용, 설명, 코드 주석은 한국어로 작성되어야 합니다.

---

1. 개발 환경 설정 및 프로젝트 구조

가상환경 설정 규칙

• 기존에 가상환경 폴더가 있다면 새로 가상환경을 만들지 않습니다.
• 가상환경은 반드시 uv를 사용하며, 워크스페이스 루트 폴더의 .venv 하나만 공통으로 사용합니다.
• 패키지 설치나 스크립트 실행은 모두 이 공통 .venv 내의 uv 명령어를 통해 진행합니다. (예: uv pip install ..., uv run ...)
• conda, poetry, pipenv, virtualenv, python -m venv 등 다른 가상환경 도구는 사용하지 않습니다.

프로젝트 폴더 구조 규칙

• 새 프로젝트 폴더를 생성할 경우, 프로젝트 루트 하위에 다음 4개 폴더를 자동으로 생성합니다:
  • data/: 데이터 원천 파일 저장
  • src/: 데이터 처리 및 시각화 코드(.py 파일 등) 저장
  • images/: 데이터 시각화 결과 이미지(.png 등) 저장
  • docs/: 문서 저장
  • reports/: 최종 리포트 저장
• 특별한 상황을 제외하고는 워크스페이스 안에서는 반드시 상대경로를 사용하여 파일에 접근하십시오.

---

2. 데이터 탐색 기초 (기본 데이터 파악)

데이터를 처음 로드한 직후 다음 단계를 누락 없이 실행하여 데이터를 파악하고 리포트에 포함해야 합니다:

1. 원시 데이터 프리뷰: 데이터의 상위 5개 행(head())과 하위 5개 행(tail())을 각각 출력하여 데이터의 형태를 직관적으로 보여줍니다.
2. 기본 정보 확인: info()를 호출하여 데이터 타입, Non-Null count 등의 결측치 정보와 기본 구조를 출력합니다.
3. 데이터 크기 확인: 데이터의 전체 행(Row) 수와 열(Column) 수를 명확하게 기술합니다.
4. 중복 데이터 확인: 데이터프레임 전체에 대해 중복된 행이 존재하는지 여부 및 중복 행의 수(df.duplicated().sum())를 확인하고 보고합니다.

---

3. 기술통계 (Descriptive Statistics) 분석

데이터의 통계적 특성을 파악하기 위해 다음 기술통계를 구합니다:

• 수치형 변수: 평균, 표준편차, 최소값, 사분위수(25%, 50%, 75%), 최대값을 구합니다. df.describe() 에 대한 코드 출력 내용을 리포트에 포함합니다.
• 범주형 변수: 고유값 개수(unique), 최빈값(top), 최빈값의 빈도수(freq)를 반드시 함께 구합니다. df.describe(include=['object', 'category']) 에 대한 코드 출력 내용을 리포트에 포함합니다.
• 수치형과 범주형 변수 모두에 대해 기술통계가 누락되지 않도록 주의하십시오.
• 각 기술 통계에 대해서는 2000자 이상의 해석 인사이트를 함께 작성할 것

---

4. 변수별 특화 분석 및 시각화 규칙

시각화 공통 스타일 제약

• Seaborn 스타일 설정 사용 금지: sns.set_theme(), sns.set(), sns.set_style() 등 Seaborn의 전역 스타일 설정을 사용하지 마십시오. 기본 matplotlib/seaborn 테마 위에 개별 차트의 디테일(그리드, 라벨 등)을 세부 조정하는 방식을 취합니다.
• 한글 폰트 설정: matplotlib 기반 시각화를 작성할 때는 반드시 koreanize-matplotlib를 패키지로 설치하고 코드 상단에서 임포트하여 한글이 깨지지 않도록 설정합니다.

  import koreanize_matplotlib
  

범주형 데이터 분석

• 모든 핵심 범주형 변수에 대해 빈도수 그래프(Count plot / Bar plot)를 작성합니다.
• 범주의 종류(고유값 개수)가 너무 많을 경우, 전체를 시각화하면 가독성이 떨어지므로 상위 30개만 추출하여 출력하고 시각화합니다.

텍스트 데이터 분석 (TF-IDF)

• 데이터 내에 텍스트 컬럼이 포함되어 있는 경우, 형태소 분석기(KoNLPy, Mecab 등)는 설치 및 실행 시간이 오래 걸릴 수 있으므로 절대 사용하지 않습니다.
• 텍스트 컬럼에서 중요한 키워드를 추출하기 위해 scikit-learn의 TfidfVectorizer를 사용하여 TF-IDF 가중치 기준으로 중요 키워드를 추출합니다.
• 중요 키워드 빈도수/가중치 상위 30개를 추출하여 가로 막대 그래프 등으로 시각화합니다.
• 시각화와 동시에, 해당 상위 30개 키워드와 가중치 값을 매핑한 **표(Table)**를 리포트에 반드시 함께 출력합니다.

---

5. 데이터 시각화 및 통계 매핑 상세 요구사항

데이터의 심층적인 이해를 돕기 위해 시각화와 통계 분석을 결합하여 제공해야 합니다.

1. 그래프 개수: 리포트 내에 최소 10개 이상의 개별 그래프/차트를 시각화하여 포함해야 합니다.
2. 변수 조합 다양화:
   • 일변량(Univariate): 단일 변수의 분포 (예: 히스토그램, 커널밀도추정(KDE) 곡선, 파이 차트, 빈도수 그래프)
   • 이변량(Bivariate): 두 변수 간의 관계 (예: 산점도, 박스 플롯, 라인 차트, 크로스탭 시각화)
   • 다변량(Multivariate): 셋 이상의 변수 간 관계 (예: 페어 플롯, 히트맵 상관행렬, 버블 차트, 범주형 변수별 그룹화 시각화)
   • 위 세 가지 차원의 데이터를 다양하게 조합하여 분석 목적에 맞게 균형 있게 배치하십시오.
3. 통계표 병행 출력: 모든 시각화 그래프 아래에는 해당 그래프가 표현하고 있는 데이터를 요약한 교차표(Crosstab), 피봇테이블(Pivot Table), 또는 기술 통계표 중 적절한 표를 반드시 함께 출력하여 수치적 근거를 명확하게 제시해야 합니다.
4. 50자 이상의 분석 해석: 각각의 시각화 그래프와 통계표 하단에는 해당 시각화 결과가 의미하는 바, 데이터에서 관찰할 수 있는 패턴, 해석 방법, 그리고 비즈니스 인사이트를 최소 50자 이상으로 상세히 설명해야 합니다.
5. 이미지 저장: 시각화 코드가 실행되면서 생성되는 모든 이미지 파일은 해당 프로젝트 경로의 images/ 폴더 내에 명확한 파일명으로 저장합니다. (예: images/01_univariate_distribution.png)

---

6. 최종 분석 리포트 생성 및 자체 검증 프로세스

리포트 파일 생성

• 데이터 분석 결과를 집대성하여 하나의 완성된 리포트 파일(예: reports/EDA_Report.md)로 생성합니다.
• 리포트에 포함된 모든 텍스트, 설명, 인사이트, 시각화 해석은 한국어로만 작성합니다.

자체 검증 및 개선 프로세스

분석 및 리포트 작성이 완료된 후에는 다음 체크리스트를 기반으로 코드가 제대로 실행되었는지, 리포트에 누락된 항목이 없는지 확인해야 합니다.

• 공통 가상환경 .venv를 사용하고 불필요한 가상환경을 생성하지 않았는가?
• 패키지 설치 및 실행에 uv를 사용했는가?
• seaborn 스타일 설정을 호출하지 않고, koreanize-matplotlib를 임포트하여 한글 폰트를 설정했는가?
• 데이터 파악 단계에서 상위 5개행, 하위 5개행 출력 결과가 리포트에 포함되었는가?
• info(), 전체 행/열 크기, 중복데이터 유무가 명시되었는가?
• 범주형과 수치형 변수 모두에 대해 기술통계가 포함되었는가?
• 범주형 변수의 빈도수 그래프가 있고, 종류가 많을 시 상위 30개만 추출하여 시각화했는가?
• 텍스트 데이터가 있을 때 형태소 분석기 없이 TF-IDF로 키워드를 추출했으며, 상위 30개 키워드의 시각화와 표가 함께 포함되었는가?
• 모든 시각화 이미지가 프로젝트 폴더의 images/ 경로에 개별 파일로 저장되었는가?
• 시각화 그래프가 총 10개 이상 작성되었으며, 일변량/이변량/다변량 조합이 골고루 사용되었는가?
• 각 시각화마다 대응하는 교차표/피봇테이블/기술통계표가 함께 출력되었는가?
• 각 시각화와 통계표에 대해 200자 이상의 구체적인 해석 및 비즈니스 인사이트가 작성되었는가?
• 최종 분석 리포트가 3000자 이상으로 한국어로 깔끔하게 정리되었는가?

검증 도중 누락되거나 잘못된 부분이 발견되면, 즉시 분석 코드나 리포트 내용을 수정하고 보완하여 완벽한 상태로 완료하십시오.