多卡的GPU server上起一个TRTIS还是多个呢？
胡麟
NVIDIA高级系统架构师
登录查看完整答案
NVIDIA高级系统架构师胡麟:
TensorRT Inference Server是可以看到服务器上的所有GPU的，可以通过CUDA VISIBLE DEVICES...
问题来源：使用TensorRT Inference Server加速深度学习模型的部署
其他回答
发布
网友答案仅供其表达个人看法，并不表明智猩猩立场。
热门问答