data-pipeline-engineering
ETL workflow design, automated data fetching, version tracking, and pipeline orchestration expertise
ソース情報
- リポジトリ
- Hack23/riksdagsmonitor
- ソースの最終更新活動
- 2026年4月16日 09:31
- 検出された SKILL.md の言語
- 英語
- スター
- 12
- フォーク
- 4
インストール方法
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
ソースファイルを確認
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
SKILL.md を表示中
SKILL.md
ソースの指示 · 読み取り専用プレビュー- name
- data-pipeline-engineering
- description
- ETL workflow design, automated data fetching, version tracking, and pipeline orchestration expertise
- license
- CC-BY-4.0
# Data Pipeline Engineering Skill
## 🔴 AI FIRST Quality Principle
> **Apply the AI FIRST principle: never accept first-pass quality. Minimum 2 iterations. Read all output, improve every section. No shortcuts.**
## Purpose
Expert knowledge in designing robust ETL (Extract, Transform, Load) pipelines for automated data processing, focusing on reliability, monitoring, and maintainability.
## Core Principles
1. **Idempotency** - Pipeline runs produce same results
2. **Observability** - Full visibility into pipeline health
3. **Error Recovery** - Graceful handling of failures
4. **Version Tracking** - Track all data changes
5. **Monitoring** - Real-time pipeline health checks
## Enforces
- ETL workflow patterns (Extract → Transform → Load)
- Automated scheduling (cron, GitHub Actions)
- Data versioning and archival
- Pipeline health monitoring
- Error recovery strategies
- Audit logging
## When to Use
- Building automated data pipelines
- Scheduling data fetching workflows
- Implementing data versioning
- Monitoring pipeline health
- Designing error recovery
## References
- [GitHub Actions](https://docs.github.com/en/actions)
- [ETL Best Practices](https://en.wikipedia.org/wiki/Extract,_transform,_load)
---
**Version**: 1.0 | **Last Updated**: 2026-02-06 | **Category**: Development & Operations
GitHubで見る