CUDA的stream使得GPU计算具有粗粒度并行能力，那么，一般单卡使用多少stream比较合适？即：GPU卡的物理任务管理队列数量是多少？

CUDA的stream使得GPU计算具有粗粒度并行能力，那么，一般单卡使用多少stream比较合适？即：GPU卡的物理任务管理队列数量是多少？

答主

赖俊杰

NVIDIA中国区工程及解决方案总监

NVIDIA中国区工程及解决方案总监赖俊杰：单卡用多少stream没有一个特...

问题来源：面向HPC及AI的巨大飞跃，NVIDIA全新Ampere GPU架构深度解析

其他回答

发布

网友答案仅供其表达个人看法，并不表明智猩猩立场。

相关回答

L2压缩是为inference设计的吗？还是training也能用？

Ampere架构GPU啥时能买得到？

NVLink 3.0通过12个X4 Link来支持双向600GB带宽，平均每个X4 link是50GB，这样的话，X16 link的双向带宽就有200GB，这个带宽已经超过PCIe 5.0的标准了，是这样吗？

我在用GPU做CFD的时候发现，同样的结构网格（比如把一块结构网格剖分成很多块），网格分区增加时，GPU加速迅速降低——这个可能是多种因素的结果，但其中是否意味着kernel的调度开销其实也挺大？

我是做HPC的，刚才赖博士说Tensor Core在HPC中由于精度问题不专门使用就会浪费，那么，有没有办法把它利用上呢？比如，通过算法将FP32的矩阵运算分解为多个FP16的Tensor Core运算？

热门问答

请问INT4的算力为什么是INT8的2倍，而不是4倍？

SR-IOV和MIG的关系是什么？A100是否支持SR-IOV？

请教一下，在A100上MPS技术会怎样演进，和MIG技术有哪些结合？

MIG将来是不是会取代vGPU？有大致路线图吗？适配vGPU和适配MIG有没有升级问题？还是无缝升级？

NVLink与NVSwitch是什么关系？

如果不使用MIG，那么就可以使用8个GPU了？还有结构化稀疏支持两个矩阵都是稀疏的么？

MIG的各实例是程序员控制还是系统控制？

NVLink 3.0通过12个X4 Link来支持双向600GB带宽，平均每个X4 link是50GB，这样的话，X16 link的双向带宽就有200GB，这个带宽已经超过PCIe 5.0的标准了，是这样吗？

纹理内存究竟是单独的内存区域？还是gmem的一种特殊访问方式？（即，有限的究竟是纹理缓存还是纹理内存）

NeRF目前非常火爆，最近也有很多工作把NeRF应用到SLAM。相比于传统的SLAM，NeRF-based SLAM的优势在哪？未来的发展方向又是怎样的呢？