realtime-streaming-event-driven
Specializes in Real-Time Streaming Architectures, Batch-Stream Unification, and Streaming Databases based on Streaming Databases (Hubert Dulay) and Building Real-Time Analytics Systems (Mark Needham). Covers Apache Kafka, Apache Pinot, Apache Flink, ClickHouse, Change Data Capture (CDC via Debezium), and real-time OLAP queries with sub-second latency.
소스 정보
- 저장소
- dandgabr/Coacus
- 최근 소스 활동
- 2026년 9월 28일 14:03
- 감지된 SKILL.md 언어
- 영어
- 스타
- 4
- 포크
- 3
설치 방법
기본적으로 소스를 먼저 확인하는 Prompt가 선택됩니다. 직접 명령으로 전환하거나 로컬 사본을 다운로드할 수도 있습니다.
소스 파일 검토
설치 여부를 결정하기 전에 SKILL.md와 SkillsMP에 표시된 보조 파일을 읽어 보세요.
파일 탐색기
5 개 파일SKILL.md 표시 중
SKILL.md
소스 지침 · 읽기 전용 미리보기- name
- realtime-streaming-event-driven
- description
- Specializes in Real-Time Streaming Architectures, Batch-Stream Unification, and Streaming Databases based on Streaming Databases (Hubert Dulay) and Building Real-Time Analytics Systems (Mark Needham). Covers Apache Kafka, Apache Pinot, Apache Flink, ClickHouse, Change Data Capture (CDC via Debezium), and real-time OLAP queries with sub-second latency.
# Real-Time Streaming Architectures and Streaming Databases
This skill establishes patterns for designing and operating systems oriented toward continuous event streams, unified batch-stream processing, and real-time OLAP analytics with millisecond-scale latencies.
---
## ⚡ 1. Lambda vs Kappa vs Unification in a Streaming DB
```
┌─────────────────────────────────────────────────────────────┐
│ Operational Sources (OLTP: Postgres, MySQL, APIs, IoT) │
└──────────────────────────────┬──────────────────────────────┘
│ CDC (Debezium) / Event Producer
┌──────────────────────────────▼──────────────────────────────┐
│ Distributed Event Log (Apache Kafka / Apache Pulsar) │
└──────────────────────────────┬──────────────────────────────┘
│
┌──────────────────┴──────────────────┐
│ │
┌───────────▼───────────┐ ┌───────────▼───────────┐
│ Stateful Processor │ │ Streaming OLAP DB │
│ (Apache Flink) │ │ (Apache Pinot / │
│ (Windows, Aggregation)│ │ ClickHouse) │
└───────────────────────┘ └───────────┬───────────┘
│
┌───────────▼───────────┐
│ Dashboards & APIs │
│ (< 50ms Query Latency)│
└───────────────────────┘
```
---
## 📊 2. Change Data Capture (CDC) Patterns with Debezium
- **Log-Based CDC**: Directly reads the database's transaction logs (WAL in PostgreSQL, Binlog in MySQL) without the overhead of polling `SELECT` queries.
- **Outbox Pattern**: Atomic write to the `outbox` table within the same relational database transaction to guarantee that domain events are never lost during network failures.
GitHub에서 보기