8.2 分布式机器学习
新型系统
1. 知识点论述
「8.2 分布式机器学习」是《分布式计算系统》新型系统部分的核心知识点。把前述原理迁移到图计算、机器学习、云原生与边缘场景。本知识点首先把握：数据并行：切样本，同步梯度或参数。瓶颈常在 AllReduce。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。
2. 视频教程
参数服务器逐段精读
3. 知识点详解
下面围绕本知识点展开要点说明，建议结合上方视频边看边对照。
- 数据并行：切样本，同步梯度或参数。瓶颈常在 AllReduce。
- 模型并行：模型本身拆开，通信更频。
- 架构：参数服务器：工作节点拉参数、算更新、写回。；AllReduce：每个参与者得到相同归约结果。；数据流：用计算图描述训练过程。
- 关键技术：通信压缩、容错、资源管理和超参数。
学习建议：先抓住定义与问题，再理解机制步骤，最后对照应用场景思考“何时用、何时不用、代价是什么”。
4. 应用场景
- 数据并行训练、AllReduce、参数服务器。
- 通信压缩与容错影响训练效率。
- 模型并行用于超大模型切分。