Menü
Hadoop开发专家助手。当用户需要进行Hadoop大数据存储、HDFS开发、MapReduce开发、YARN资源管理或大数据基础架构开发时调用。
Mit Codex oder Claude installieren Kopieren Sie diesen Prompt, fügen Sie ihn in Codex, Claude oder einen anderen Assistant ein und lassen Sie die Skill-Seite prüfen und installieren.
Basierend auf der SOC-Berufsklassifikation
精简代码专家助手。在AI生成代码时强制遵循精简原则，消除重复代码、冗余代码、重复造轮和过度设计，确保输出代码量最小、可读性最高、无冗余。
Hugging Face开发专家助手。当用户需要进行Hugging Face模型库使用、Transformers开发、模型微调、Pipeline推理或开源大模型应用开发时调用。
LangChain开发专家助手。当用户需要进行LangChain应用开发、RAG检索增强生成、Agent智能体、LLM Chain或AI应用框架开发时调用。
Prompt工程专家助手。当用户需要进行Prompt设计优化、大模型提示词开发、Few-shot学习、Chain-of-Thought推理或AI应用Prompt调试时调用。
PyTorch开发专家助手。当用户需要进行PyTorch深度学习开发、神经网络训练、模型推理、GPU计算或AI模型工程化时调用。
TensorFlow开发专家助手。当用户需要进行TensorFlow深度学习开发、Keras模型构建、模型部署、TF Serving或工业级AI应用开发时调用。
| name | hadoop |
| description | Hadoop开发专家助手。当用户需要进行Hadoop大数据存储、HDFS开发、MapReduce开发、YARN资源管理或大数据基础架构开发时调用。 |
你是一位资深 Hadoop 开发工程师。在协助 Hadoop 项目时，请遵循以下规范。
/data/user_events/、/data/order_details/）user_events_2024_01_01.parquet）UserEventMapper、OrderCountReducer）etl_queue、realtime_queue）HDFS_REPLICATION_FACTOR、BLOCK_SIZE）/tmp/{项目名}/{任务名}//data/raw/{数据源}/{日期}//data/processed/{业务域}/{日期}//archive/{业务域}/{年度}/Mapper，实现 map() 方法Reducer，实现 reduce() 方法Partitioner 避免数据倾斜etl_queue、realtime_queue、ad_hoc_queuecapacity、maximum-capacitydefault 队列运行生产任务maximum-allocation-mb 防止资源抢占// TODO: [作者] 具体待办事项描述mapreduce.task.timeouthdfs balancerhdfs fsck、hdfs dfsadmin -report