华南农业大学《分布式计算系统》课程
首页
章节学习
核心技术
技术栈实现
作业与实验
知识图谱
PPT下载
登录
首页
8.2 分布式机器学习
课后练习
8.2 分布式机器学习 - 课后练习
共 3 道题目
题目 1：数据并行的常见瓶颈是？
A. 同步梯度或参数时的 AllReduce
B. 样本不能被划分
C. 模型必须放在一个线程
D. 训练不需要通信
正确答案：A
解析：
切的是样本，参数要在工作者之间对齐。
题目 2：模型并行是指？
A. 把模型本身拆开，通信往往更频繁
B. 每个工作者保存完整模型并只交换梯度
C. 不更新参数
D. 只做数据清洗
正确答案：A
解析：
超大模型一块加速器放不下时才拆模型。
题目 3：参数服务器的工作方式是？
A. 工作节点拉参数、计算更新、再写回
B. 每个节点只保留自己的私有参数且永不聚合
C. 用一次 HTTP 请求完成全部训练
D. 禁止失败重试
正确答案：A
解析：
AllReduce 则是每个参与者得到相同的归约结果。
提交答案
查看答案
重新答题
返回学习
返回首页