MapReduce

并行批处理

访问次数: 9

Map、Shuffle、Reduce；框架负责任务调度与故障重试。

视频教程
在B站观看
类图
flowchart LR
    In --> Map --> Shuffle --> Reduce --> Out
源代码示例
// WordCount
def map_fn(line):
    for w in line.split(): yield (w,1)
def reduce_fn(k, vs): return (k, sum(vs))
应用场景
大规模批处理与数据本地性。
返回首页 开始练习