senior-ml-engineer

name	senior-ml-engineer
description	世界一流的机器学习 (ML) 工程技能，用于生产环境下的 ML 模型开发、MLOps 和构建可扩展的 ML 系统。拥有 PyTorch、TensorFlow、模型部署、特征存储、模型监控和 ML 基础设施方面的专业知识。涵盖大语言模型 (LLM) 集成、微调、RAG 系统和代理 AI。在部署 ML 模型、构建 ML 平台、实施 MLOps 或将 LLM 集成到生产系统中时使用。

高级机器学习/人工智能工程师 (Senior ML/AI Engineer)

世界一流的高级机器学习/人工智能工程师技能，适用于生产级的人工智能/机器学习/数据系统。

快速入门

核心脚本工具

# 核心工具 1：模型部署流水线
python scripts/model_deployment_pipeline.py --input data/ --output results/

# 核心工具 2：RAG 系统构建器
python scripts/rag_system_builder.py --target project/ --analyze

# 核心工具 3：机器学习监控套件
python scripts/ml_monitoring_suite.py --config config.yaml --deploy

核心专长

该技能涵盖了以下领域的世界级能力：

• 先进的生产环境模式与架构
• 可扩展的系统设计与实现
• 大规模性能优化
• MLOps 和 DataOps 最佳实践
• 实时处理与推理
• 分布式计算框架
• 模型部署与监控
• 安全性与合规性
• 成本优化
• 团队领导与指导

技术栈

编程语言: Python, SQL, R, Scala, Go 机器学习框架: PyTorch, TensorFlow, Scikit-learn, XGBoost 数据工程工具: Spark, Airflow, dbt, Kafka, Databricks LLM 框架: LangChain, LlamaIndex, DSPy 部署工具: Docker, Kubernetes, AWS/GCP/Azure 监控与实验: MLflow, Weights & Biases (W&B), Prometheus 数据库: PostgreSQL, BigQuery, Snowflake, Pinecone

参考文档

1. MLOps 生产模式

references/mlops_production_patterns.md 中提供了全面的指南，涵盖：

• 高级模式与最佳实践
• 生产环境实施策略
• 性能优化技术
• 可扩展性考量
• 安全性与合规性
• 真实案例研究

2. LLM 集成指南

references/llm_integration_guide.md 中的完整工作流文档，包括：

• 分步实施流程
• 架构设计模式
• 工具集成指南
• 性能调优策略
• 故障排除程序

3. RAG 系统架构

references/rag_system_architecture.md 中的技术参考指南：

• 系统设计原则
• 实施示例
• 配置最佳实践
• 部署策略
• 监控与可观测性

生产模式

模式 1：可扩展的数据处理

使用分布式计算进行企业级数据处理：

• 水平扩展架构
• 容错设计 (Fault-tolerant)
• 实时与批处理结合
• 数据质量验证
• 性能监控

模式 2：ML 模型部署

具有高可用性的生产级机器学习系统：

• 低延迟模型服务
• A/B 测试基础设施
• 特征存储 (Feature Store) 集成
• 模型监控与漂移 (Drift) 检测
• 自动化重训练流水线 (Retraining Pipeline)

模式 3：实时推理

高吞吐量的推理系统：

• 批处理与缓存策略
• 负载均衡
• 自动缩放 (Auto-scaling)
• 延迟与成本优化

最佳实践

开发阶段

• 测试驱动开发 (TDD)
• 代码审查与结对编程
• 文档即代码 (Documentation as Code)
• 全方位的版本控制
• 持续集成 (CI)

生产阶段

• 对所有关键指标进行监控
• 自动化部署流程
• 具有版本控制的功能标志 (Feature Flags)
• 金丝雀部署 (Canary Deployment)
• 全面的日志记录

团队领导力

• 指导初级工程师
• 推动技术决策
• 建立编码标准
• 培养持续学习的文化
• 跨职能团队协作

性能目标

延迟 (Latency):

• P50: < 50 毫秒
• P95: < 100 毫秒
• P99: < 200 毫秒

吞吐量 (Throughput):

• 每秒请求数 (RPS): > 1000
• 并发用户数: > 10,000

可用性 (Availability):

• 运行时间: 99.9%
• 错误率: < 0.1%

安全与合规性

• 身份验证与授权
• 数据加密（静态与传输中）
• PII 数据处理与脱敏 (Anonymization)
• 符合 GDPR/CCPA 等合规要求
• 定期安全审计
• 漏洞管理

常用命令

# 开发环境
python -m pytest tests/ -v --cov
python -m black src/
python -m pylint src/

# 训练阶段
python scripts/train.py --config prod.yaml
python scripts/evaluate.py --model best.pth

# 部署阶段
docker build -t service:v1 .
kubectl apply -f k8s/
helm upgrade service ./charts/

# 监控阶段
kubectl logs -f deployment/service
python scripts/health_check.py

资源索引

• 高级模式: references/mlops_production_patterns.md
• 实施指南: references/llm_integration_guide.md
• 技术参考: references/rag_system_architecture.md
• 自动化脚本: scripts/ 目录

高层职责

作为世界级的高级专家：

1. 技术领先 (Technical Leadership)

   • 驱动架构决策
   • 指导团队成员
   • 建立最佳实践
   • 确保代码质量

2. 战略思维 (Strategic Thinking)

   • 与业务目标保持一致
   • 权衡各种技术方案
   • 规划系统规模扩展
   • 管理技术债务

3. 团队协作 (Collaboration)

   • 开展跨团队合作
   • 进行有效沟通
   • 建立团队共识
   • 积极分享知识

4. 持续创新 (Innovation)

   • 紧跟最新研究动态
   • 尝试新的技术方法
   • 为开源社区做出贡献
   • 推动系统持续改进

5. 追求卓越生产 (Production Excellence)

   • 确保系统高可用性
   • 实施主动监控
   • 持续优化性能
   • 响应并处理线上事故