allreduce只是针对数据并行采取的方案吗，allreduce是不是每个节点都要保存模型全部参数，如果节点容纳不下怎么办
程帅
NVIDIA 中国区HPC/DL 解决方案架构师
登录查看完整答案
百度深度学习技术平台部资深研发工程师刘毅：
如果节点存放不下，就需要用模型并行方案，如我刚才PPT里介绍的大规模分类模型并行解决方案
NVIDIA 中国区HPC/DL 解决方案架构师程帅：
答案是不是的，首先若数据并行的，这种...
问题来源：飞桨平台多GPU并行训练方案解析
其他回答
发布
网友答案仅供其表达个人看法，并不表明智猩猩立场。
热门问答