TRTorch:使用TensorRT的NVIDIA GPU的PyTorchTorchScript编译器

时间:2021-02-04 21:09:41
【文件属性】:
文件名称:TRTorch:使用TensorRT的NVIDIA GPU的PyTorchTorchScript编译器
文件大小:12.47MB
文件格式:ZIP
更新时间:2021-02-04 21:09:41
machine-learning deep-learning cuda pytorch nvidia TRT火炬 PyTorch JIT的提前(AOT)编译 TRTorch是PyTorch / TorchScript的编译器,通过NVIDIA的TensorRT深度学习优化器和运行时针对NVIDIA GPU。 与PyTorch的即时(JIT)编译器不同,TRTorch是一种提前(AOT)编译器,这意味着在部署TorchScript代码之前,您需要经过一个显式的编译步骤,才能将标准的TorchScript程序转换为模块。以TensorRT引擎为目标。 TRTorch充当PyTorch扩展,并编译与JIT运行时无缝集成的模块。 使用优化图进行编译后,应该感觉与运行TorchScript模块没有什么

网友评论