是否需要提前确认Overflow是哪个原因引起的，或者已经确认FP32的模型没有Overflow问题？
王梦娣
阿里巴巴阿里巴巴高级算法工程师
登录查看完整答案
阿里巴巴高级算法工程师王梦娣：
如果有Overflow会skip这个batch，不更新这个梯度。在开发的过程中也考虑到类似问题，但是在实验过程中，可能大部分情况下在FP32进行训练时，一些特定的step会有Ov...
问题来源：PAI自动混合精度训练的实现与应用
其他回答
发布
网友答案仅供其表达个人看法，并不表明智猩猩立场。
热门问答