7.2 任务协调
并行批处理
1. 知识点论述
「7.2 任务协调」是《分布式计算系统》并行批处理部分的核心知识点。把大批量计算拆开调度，并在失败时可靠恢复。本知识点首先把握：同步：按步推进，步与步之间交换数据，如 BSP。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。
2. 视频教程
MapReduce 工作原理：阶段之间如何交接
3. 知识点详解
下面围绕本知识点展开要点说明，建议结合上方视频边看边对照。
- 同步：按步推进，步与步之间交换数据，如 BSP。
- 异步：任务按自己的进度执行，不等全局节拍。
- 静态计算图：运行前确定，便于优化。
- 动态计算图：运行时按输入构建，更灵活。
学习建议：先抓住定义与问题，再理解机制步骤，最后对照应用场景思考“何时用、何时不用、代价是什么”。
4. 应用场景
- BSP 图计算超步、异步参数服务器。
- 静态/动态计算图影响训练与推理框架设计。
- 同步与异步决定收敛与延迟。