8.1 分布式图计算

新型系统

1. 知识点论述
「8.1 分布式图计算」是《分布式计算系统》新型系统部分的核心知识点。把前述原理迁移到图计算、机器学习、云原生与边缘场景。本知识点首先把握:图又大、边又密,PageRank、最短路径、连通分量都要多轮迭代。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统,并用通信、数据放置、复制、容错与调度把这件事做可靠。
2. 视频教程

Spark GraphX:分布式图计算要解决什么

3. 知识点详解

下面围绕本知识点展开要点说明,建议结合上方视频边看边对照。

  1. 图又大、边又密,PageRank、最短路径、连通分量都要多轮迭代。
  2. 单机放不下,也不适合一次性 MapReduce 硬做迭代。
  3. Pregel:BSP,以顶点为中心。一个超步内计算,超步之间传消息,屏障同步。
  4. GraphLab / GAS:Gather 收集邻居,Apply 更新顶点,Scatter 发出新信息。
  5. 同步、异步、混合执行在收敛速度和一致性之间取舍。
  6. 通信优化:消息缓存、推送或拉取。容错仍靠检查点和重算。
学习建议:先抓住定义与问题,再理解机制步骤,最后对照应用场景思考“何时用、何时不用、代价是什么”。
4. 应用场景
  • PageRank、最短路径、社交网络分析。
  • Pregel/GraphX 类系统选型。
  • 迭代图算法不适合硬套一次性 MapReduce。