1、动态图与静态图的优缺点是什么?其各自的适应场景是怎样的?
2、线上推理引擎,单台机器内存无法容纳大模型,分布式方法有哪些?有什么优缺点?
登录查看完整答案

NVIDIA 中国区HPC/DL 解决方案架构师程帅:
动态图的优点就是可以及时的获取到当前操作的一些tensor的信息,这样对于像做research或者说是调试相对来说是比较容易的。但是静态图的话,它其实是通过预先构建一个图,然后通过编译再形成这个图的反向以及优化的...
问题来源:飞桨平台多GPU并行训练方案解析
其他回答
网友答案仅供其表达个人看法,并不表明智猩猩立场。