使用T4对这些AI推理模型加速时,对CPU、内存、硬盘和网络带宽有什么依赖要求?
答主
徐添豪
NVIDIA数据科学家
NVIDIA数据科学家徐添豪: 在做模型推理的时候,首先要考虑CPU和GPU的配比,每个场景的配比都不太一样。在短视频的workload整个pipeline里面有解码,如果CPU资源赋有富裕,那这时完全可以在CPU上做解码,然后放到GPU上做推理...
问题来源:短视频场景的AI应用推理与优化
其他回答
发布
网友答案仅供其表达个人看法,并不表明智猩猩立场。