3.4 数据定位

数据划分

1. 知识点论述
「3.4 数据定位」是《分布式计算系统》数据划分部分的核心知识点。解决数据放在哪里、如何定位与扩容时如何少搬家的问题。本知识点首先把握:目标:快速找到数据所在节点,再读或写。学习时请把它放回整门课主线——把独立计算机组织成对用户像一台机器的系统,并用通信、数据放置、复制、容错与调度把这件事做可靠。
2. 视频教程

HDFS 读数据与写数据:先定位块再访问节点

3. 知识点详解

下面围绕本知识点展开要点说明,建议结合上方视频边看边对照。

  1. 目标:快速找到数据所在节点,再读或写。
  2. 元信息放在哪:分布式节点自己保存。;第三方目录。;客户端缓存。
学习建议:先抓住定义与问题,再理解机制步骤,最后对照应用场景思考“何时用、何时不用、代价是什么”。
4. 应用场景
  • 客户端缓存目录降低 Master 压力。
  • 元数据服务与数据路径分离(如 GFS Master)。
  • 路由表下沉到 Proxy 或 SDK。