7.1 任务分配
并行批处理
1. 知识点论述
「7.1 任务分配」是《分布式计算系统》并行批处理部分的核心知识点。把大批量计算拆开调度，并在失败时可靠恢复。本知识点首先把握：把耗时长的任务拆成子任务，分到多个节点，再汇总。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。
2. 视频教程
Hadoop、YARN 与数据切分
3. 知识点详解
下面围绕本知识点展开要点说明，建议结合上方视频边看边对照。
- 把耗时长的任务拆成子任务，分到多个节点，再汇总。
- 近数据分配：任务去数据所在的节点，少搬数据。
- 轮询：按固定顺序分给空闲节点。
- DRF：在 CPU、内存等多维资源上，按主导资源占比公平分配，避免一种资源被占满、其他资源闲置。
学习建议：先抓住定义与问题，再理解机制步骤，最后对照应用场景思考“何时用、何时不用、代价是什么”。
4. 应用场景
- Yarn/K8s 调度、近数据计算。
- 多维资源公平（DRF）避免某种资源挤占。
- 批处理作业拆分子任务并行。