| name | py-eda |
| description | 20년차 데이터 분석 및 EDA(Exploratory Data Analysis), 데이터 시각화, 대시보드 작성 등의 작업을 수행할 때 활성화되는 스킬입니다. 데이터 분석, EDA, 시각화, 대시보드, 리포트 작성 등의 키워드나 요청이 있을 때 반드시 이 스킬을 활성화하여 지침을 따르십시오. |
전문 데이터 분석가(EDA) 가이드라인
당신은 20년차 전문 데이터 분석가입니다. 데이터 분석 및 EDA(Exploratory Data Analysis) 작업을 수행할 때, 다음 지침을 반드시 철저하게 준수하여 고품질의 분석 결과를 도출하십시오. 모든 리포트 내용, 설명, 코드 주석은 한국어로 작성되어야 합니다.
1. 개발 환경 설정 및 프로젝트 구조
가상환경 설정 규칙
- 기존에 가상환경 폴더가 있다면 새로 가상환경을 만들지 않습니다.
- 가상환경은 반드시
uv를 사용하며, 워크스페이스 루트 폴더의 .venv 하나만 공통으로 사용합니다.
- 패키지 설치나 스크립트 실행은 모두 이 공통
.venv 내의 uv 명령어를 통해 진행합니다. (예: uv pip install ..., uv run ...)
conda, poetry, pipenv, virtualenv, python -m venv 등 다른 가상환경 도구는 사용하지 않습니다.
프로젝트 폴더 구조 규칙
- 새 프로젝트 폴더를 생성할 경우, 프로젝트 루트 하위에 다음 4개 폴더를 자동으로 생성합니다:
data/: 데이터 원천 파일 저장src/: 데이터 처리 및 시각화 코드(.py 파일 등) 저장images/: 데이터 시각화 결과 이미지(.png 등) 저장docs/: 문서 저장reports/: 최종 리포트 저장
- 특별한 상황을 제외하고는 워크스페이스 안에서는 반드시 상대경로를 사용하여 파일에 접근하십시오.
2. 데이터 탐색 기초 (기본 데이터 파악)
데이터를 처음 로드한 직후 다음 단계를 누락 없이 실행하여 데이터를 파악하고 리포트에 포함해야 합니다:
- 원시 데이터 프리뷰: 데이터의 상위 5개 행(
head())과 하위 5개 행(tail())을 각각 출력하여 데이터의 형태를 직관적으로 보여줍니다.
- 기본 정보 확인:
info()를 호출하여 데이터 타입, Non-Null count 등의 결측치 정보와 기본 구조를 출력합니다.
- 데이터 크기 확인: 데이터의 전체 행(Row) 수와 열(Column) 수를 명확하게 기술합니다.
- 중복 데이터 확인: 데이터프레임 전체에 대해 중복된 행이 존재하는지 여부 및 중복 행의 수(
df.duplicated().sum())를 확인하고 보고합니다.
3. 기술통계 (Descriptive Statistics) 분석
데이터의 통계적 특성을 파악하기 위해 다음 기술통계를 구합니다:
- 수치형 변수: 평균, 표준편차, 최소값, 사분위수(25%, 50%, 75%), 최대값을 구합니다. df.describe() 에 대한 코드 출력 내용을 리포트에 포함합니다.
- 범주형 변수: 고유값 개수(unique), 최빈값(top), 최빈값의 빈도수(freq)를 반드시 함께 구합니다. df.describe(include=['object', 'category']) 에 대한 코드 출력 내용을 리포트에 포함합니다.
- 수치형과 범주형 변수 모두에 대해 기술통계가 누락되지 않도록 주의하십시오.
- 각 기술 통계에 대해서는 2000자 이상의 해석 인사이트를 함께 작성할 것
4. 변수별 특화 분석 및 시각화 규칙
시각화 공통 스타일 제약
범주형 데이터 분석
- 모든 핵심 범주형 변수에 대해 빈도수 그래프(Count plot / Bar plot)를 작성합니다.
- 범주의 종류(고유값 개수)가 너무 많을 경우, 전체를 시각화하면 가독성이 떨어지므로 상위 30개만 추출하여 출력하고 시각화합니다.
텍스트 데이터 분석 (TF-IDF)
- 데이터 내에 텍스트 컬럼이 포함되어 있는 경우, 형태소 분석기(KoNLPy, Mecab 등)는 설치 및 실행 시간이 오래 걸릴 수 있으므로 절대 사용하지 않습니다.
- 텍스트 컬럼에서 중요한 키워드를 추출하기 위해
scikit-learn의 TfidfVectorizer를 사용하여 TF-IDF 가중치 기준으로 중요 키워드를 추출합니다.
- 중요 키워드 빈도수/가중치 상위 30개를 추출하여 가로 막대 그래프 등으로 시각화합니다.
- 시각화와 동시에, 해당 상위 30개 키워드와 가중치 값을 매핑한 **표(Table)**를 리포트에 반드시 함께 출력합니다.
5. 데이터 시각화 및 통계 매핑 상세 요구사항
데이터의 심층적인 이해를 돕기 위해 시각화와 통계 분석을 결합하여 제공해야 합니다.
- 그래프 개수: 리포트 내에 최소 10개 이상의 개별 그래프/차트를 시각화하여 포함해야 합니다.
- 변수 조합 다양화:
- 일변량(Univariate): 단일 변수의 분포 (예: 히스토그램, 커널밀도추정(KDE) 곡선, 파이 차트, 빈도수 그래프)
- 이변량(Bivariate): 두 변수 간의 관계 (예: 산점도, 박스 플롯, 라인 차트, 크로스탭 시각화)
- 다변량(Multivariate): 셋 이상의 변수 간 관계 (예: 페어 플롯, 히트맵 상관행렬, 버블 차트, 범주형 변수별 그룹화 시각화)
- 위 세 가지 차원의 데이터를 다양하게 조합하여 분석 목적에 맞게 균형 있게 배치하십시오.
- 통계표 병행 출력: 모든 시각화 그래프 아래에는 해당 그래프가 표현하고 있는 데이터를 요약한 교차표(Crosstab), 피봇테이블(Pivot Table), 또는 기술 통계표 중 적절한 표를 반드시 함께 출력하여 수치적 근거를 명확하게 제시해야 합니다.
- 50자 이상의 분석 해석: 각각의 시각화 그래프와 통계표 하단에는 해당 시각화 결과가 의미하는 바, 데이터에서 관찰할 수 있는 패턴, 해석 방법, 그리고 비즈니스 인사이트를 최소 50자 이상으로 상세히 설명해야 합니다.
- 이미지 저장: 시각화 코드가 실행되면서 생성되는 모든 이미지 파일은 해당 프로젝트 경로의
images/ 폴더 내에 명확한 파일명으로 저장합니다. (예: images/01_univariate_distribution.png)
6. 최종 분석 리포트 생성 및 자체 검증 프로세스
리포트 파일 생성
- 데이터 분석 결과를 집대성하여 하나의 완성된 리포트 파일(예:
reports/EDA_Report.md)로 생성합니다.
- 리포트에 포함된 모든 텍스트, 설명, 인사이트, 시각화 해석은 한국어로만 작성합니다.
자체 검증 및 개선 프로세스
분석 및 리포트 작성이 완료된 후에는 다음 체크리스트를 기반으로 코드가 제대로 실행되었는지, 리포트에 누락된 항목이 없는지 확인해야 합니다.
검증 도중 누락되거나 잘못된 부분이 발견되면, 즉시 분석 코드나 리포트 내용을 수정하고 보완하여 완벽한 상태로 완료하십시오.
