第3章 数据划分与定位

1. 知识点论述

「3.1 为什么划分」是《分布式计算系统》数据划分部分的核心知识点。解决数据放在哪里、如何定位与扩容时如何少搬家的问题。本知识点首先把握：目的：集群变大时，容量和算力一起变大。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

为什么需要分库分表？怎么分、哪些数据要分

3. 知识点详解

1. 目的：集群变大时，容量和算力一起变大。
2. 目标：数据并行存储和处理，同时避免负载倾斜。
3. 热点：某个键或某一段键被频繁访问，再好的划分也会打在同一分区上。

1. 知识点论述

「3.2 静态划分」是《分布式计算系统》数据划分部分的核心知识点。解决数据放在哪里、如何定位与扩容时如何少搬家的问题。本知识点首先把握：范围划分：一段连续键值一个分区，适合区间扫描，边界要事先算好。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

有限内存如何支撑无限数据：数据切分与哈希槽

3. 知识点详解

1. 范围划分：一段连续键值一个分区，适合区间扫描，边界要事先算好。
2. 哈希划分：用哈希把键打散，减轻热点，区间查询变贵。
3. 其他：无分区、列表分区。
4. 取模划分的问题：节点数一变，绝大多数键都要搬家。

1. 知识点论述

「3.3 动态调整」是《分布式计算系统》数据划分部分的核心知识点。解决数据放在哪里、如何定位与扩容时如何少搬家的问题。本知识点首先把握：数据规模变化后要重新划分并迁移。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

256 变 4096：分库分表扩容如何平滑迁移

3. 知识点详解

1. 数据规模变化后要重新划分并迁移。
2. 小分区作为迁移粒度：限定分区数量。；限定分区大小。；限定分区比例。
3. 节点增减时搬的是小分区，而不是重算全部映射。

1. 知识点论述

「3.4 数据定位」是《分布式计算系统》数据划分部分的核心知识点。解决数据放在哪里、如何定位与扩容时如何少搬家的问题。本知识点首先把握：目标：快速找到数据所在节点，再读或写。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

HDFS 读数据与写数据：先定位块再访问节点

3. 知识点详解

1. 目标：快速找到数据所在节点，再读或写。
2. 元信息放在哪：分布式节点自己保存。；第三方目录。；客户端缓存。

1. 知识点论述

「3.5 一致性哈希」是《分布式计算系统》数据划分部分的核心知识点。解决数据放在哪里、如何定位与扩容时如何少搬家的问题。本知识点首先把握：节点和键都映射到环上，键顺时针找到第一个节点。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

7 分钟详解一致性哈希：原理、缺陷与虚拟节点

3. 知识点详解

1. 节点和键都映射到环上，键顺时针找到第一个节点。
2. 节点加入或退出时，只影响相邻区间，迁移量约为 1/N。
3. 数据倾斜用虚拟节点缓解：一个物理节点在环上占多个位置。

1. 知识点论述

「3.6 GFS」是《分布式计算系统》数据划分部分的核心知识点。解决数据放在哪里、如何定位与扩容时如何少搬家的问题。本知识点首先把握：角色：客户端、Master、Chunk Server。文件切成块，块有多副本。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统，并用通信、数据放置、复制、容错与调度把这件事做可靠。

2. 视频教程

解读 Google 分布式文件系统 GFS

3. 知识点详解

1. 角色：客户端、Master、Chunk Server。文件切成块，块有多副本。
2. Master 保存文件名到块、块到服务器的元数据，不存用户数据本身。
3. 读：客户端向 Master 要块位置，再选近端 Chunk Server 读取；失败则试其他副本。
4. 写：租约指定一段时间内的主副本，主副本排定写顺序，副本按该顺序落地。
5. 一致性：并发写可能 consistent but undefined，副本字节相同，但不是任何一次客户端写入的完整结果。