streaming-patterns
Provides Kafka producer and consumer best practices and dead letter queue patterns for streaming data; use when designing Kafka consumers or producers or implementing real-time pipelines.
ソース情報
- リポジトリ
- sawrus/agent-guides
- ソースの最終更新活動
- 2026年10月16日 19:08
- 検出された SKILL.md の言語
- 英語
- スター
- 19
- フォーク
- 4
インストール方法
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
ソースファイルを確認
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
SKILL.md を表示中
SKILL.md
ソースの指示 · 読み取り専用プレビュー- name
- streaming-patterns
- description
- Provides Kafka producer and consumer best practices and dead letter queue patterns for streaming data; use when designing Kafka consumers or producers or implementing real-time pipelines.
# Skill: Streaming Data Patterns
## When to load
When designing Kafka consumers/producers or implementing real-time pipelines.
## Producer Best Practices
```python
producer = Producer({
"bootstrap.servers": settings.KAFKA_BROKERS,
"acks": "all", # Wait for all replicas
"retries": 5,
"enable.idempotence": True, # Exactly-once delivery
"compression.type": "snappy",
})
```
## Consumer Pattern
```python
consumer = Consumer({
"group.id": "order-processor-v1", # Version when changing logic
"auto.offset.reset": "earliest",
"enable.auto.commit": False, # Manual commit: only after successful processing
})
msg = consumer.poll(timeout=1.0)
try:
process(deserialize(msg.value()))
consumer.commit(msg) # Commit only after success
except ProcessingError as e:
publish_to_dlq(msg, e) # Dead-letter, don't block partition
consumer.commit(msg)
```
## Dead Letter Queue
```json
{
"original_topic": "orders.created.v1",
"original_offset": 12345,
"original_payload": "...",
"error_message": "Deserialization failed",
"error_timestamp": "2026-02-16T10:30:00Z",
"retry_count": 3
}
```
GitHubで見る