第8章 新型分布式系统

1. 知识点论述

「8.1 分布式图计算」是《分布式计算系统》新型系统部分的核心知识点。把前述原理迁移到图计算、机器学习、云原生与边缘场景。本知识点首先把握：图又大、边又密，PageRank、最短路径、连通分量都要多轮迭代。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

Spark GraphX：分布式图计算要解决什么

3. 知识点详解

1. 图又大、边又密，PageRank、最短路径、连通分量都要多轮迭代。
2. 单机放不下，也不适合一次性 MapReduce 硬做迭代。
3. Pregel：BSP，以顶点为中心。一个超步内计算，超步之间传消息，屏障同步。
4. GraphLab / GAS：Gather 收集邻居，Apply 更新顶点，Scatter 发出新信息。
5. 同步、异步、混合执行在收敛速度和一致性之间取舍。
6. 通信优化：消息缓存、推送或拉取。容错仍靠检查点和重算。

1. 知识点论述

「8.2 分布式机器学习」是《分布式计算系统》新型系统部分的核心知识点。把前述原理迁移到图计算、机器学习、云原生与边缘场景。本知识点首先把握：数据并行：切样本，同步梯度或参数。瓶颈常在 AllReduce。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

参数服务器逐段精读

3. 知识点详解

1. 数据并行：切样本，同步梯度或参数。瓶颈常在 AllReduce。
2. 模型并行：模型本身拆开，通信更频。
3. 架构：参数服务器：工作节点拉参数、算更新、写回。；AllReduce：每个参与者得到相同归约结果。；数据流：用计算图描述训练过程。
4. 关键技术：通信压缩、容错、资源管理和超参数。

1. 知识点论述

「8.3 联邦学习」是《分布式计算系统》新型系统部分的核心知识点。把前述原理迁移到图计算、机器学习、云原生与边缘场景。本知识点首先把握：数据留在参与方，交换的是模型更新。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

什么是联邦学习

3. 知识点详解

1. 数据留在参与方，交换的是模型更新。
2. 横向：样本不同、特征空间重叠。纵向：样本重叠、特征不同。
3. 训练：本地更新，服务器聚合，再下发。
4. 难点：参与方算力和网络不均，以及中途退出。

1. 知识点论述

「8.4 云计算与云原生」是《分布式计算系统》新型系统部分的核心知识点。把前述原理迁移到图计算、机器学习、云原生与边缘场景。本知识点首先把握：云计算：按需提供计算和存储，用户不必自备全部资源。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

Docker 是什么，和 Kubernetes 是什么关系

3. 知识点详解

1. 云计算：按需提供计算和存储，用户不必自备全部资源。
2. 云原生：容器、声明式编排、微服务、可观测。
3. 虚拟化与容器把应用和机器解开。
4. Kubernetes 用期望状态管理副本和扩缩容。
5. Serverless 按调用伸缩，适合波峰浪谷，要面对冷启动。

1. 知识点论述

「8.5 边缘计算」是《分布式计算系统》新型系统部分的核心知识点。把前述原理迁移到图计算、机器学习、云原生与边缘场景。本知识点首先把握：三层：设备、边缘、云。延迟敏感的放边缘，重计算放云。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

10 分钟详解边缘计算

3. 知识点详解

1. 三层：设备、边缘、云。延迟敏感的放边缘，重计算放云。
2. 雾计算、移动边缘计算是同一方向的不同部署位置。
3. 计算卸载：决定任务在本地、边缘还是云端执行。
4. 动态服务放置与迁移：用户或负载移动时，服务跟着走，同时控制迁移成本。