不同深度模型的混合精度策略如何确定？有没有自动化方法？

不同深度模型的混合精度策略如何确定？有没有自动化方法？

答主

王梦娣

阿里巴巴阿里巴巴高级算法工程师

阿里巴巴高级算法工程师王梦娣：主要的问题是策略如何确定，在图改写的维度主要基于规则和底层硬件的特性来制定一个合理的规...

问题来源：PAI自动混合精度训练的实现与应用

其他回答

发布

网友答案仅供其表达个人看法，并不表明智猩猩立场。

相关回答

请问老师存算一体（直接在存储器中嵌入算法加速矩阵运算）与tensor core加速矩阵乘加有何区别？

输出为FP32的话，那么下个layer的输入时，是要再从FP32转成FP16吗？

关于PAI-TAO，PyTorch这种eager计算的支持吗，如果是那是如何支持的？

Cast Fusion是前后两个op都是fp16所以可以fusion?

对于图改写算法，图的定义的原子单位是什么，是TensorFlow的layer的定义么？

热门问答

请问INT4的算力为什么是INT8的2倍，而不是4倍？

SR-IOV和MIG的关系是什么？A100是否支持SR-IOV？

请教一下，在A100上MPS技术会怎样演进，和MIG技术有哪些结合？

MIG将来是不是会取代vGPU？有大致路线图吗？适配vGPU和适配MIG有没有升级问题？还是无缝升级？

NVLink与NVSwitch是什么关系？

如果不使用MIG，那么就可以使用8个GPU了？还有结构化稀疏支持两个矩阵都是稀疏的么？

MIG的各实例是程序员控制还是系统控制？

NVLink 3.0通过12个X4 Link来支持双向600GB带宽，平均每个X4 link是50GB，这样的话，X16 link的双向带宽就有200GB，这个带宽已经超过PCIe 5.0的标准了，是这样吗？

纹理内存究竟是单独的内存区域？还是gmem的一种特殊访问方式？（即，有限的究竟是纹理缓存还是纹理内存）

NeRF目前非常火爆，最近也有很多工作把NeRF应用到SLAM。相比于传统的SLAM，NeRF-based SLAM的优势在哪？未来的发展方向又是怎样的呢？