使用 TensorRT 链接矩池云教程

简介

NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK。此 SDK 包含深度学习推理优化器和运行时环境，可为深度学习推理应用提供低延迟和高吞吐量。

TensorRT 以 NVIDIA 的并行编程模型 CUDA 为基础构建而成，可帮助您利用 CUDA-X 中的库、开发工具和技术，针对人工智能、自主机器、高性能计算和图形优化所有深度学习框架中的推理。

官网下载链接：https://developer.nvidia.com/nvidia-tensorrt-download

tar.gz包安装

案例以CUDA11镜像下安装TensorRT 7为例

cd /mnt
ls
#将上传到网盘的包，解压至home目录下
tar xzvf TensorRT-7.2.3.4.Ubuntu-18.04.x86_64-gnu.cuda-11.0.cudnn8.1.tar.gz  -C /home

cd /home
ls
# 将TensorRT文件夹里的lib添加到环境变量中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/TensorRT-7.2.3.4/lib

cd TensorRT-7.2.3.4/python/
ls
# 安装TensorRT
pip install tensorrt-7.2.3.4-cp38-none-linux_x86_64.whl

cd /home/TensorRT-7.2.3.4/uff/
ls
# 安装UFF,支持tensorflow模型转化
pip install tensorrt-7.2.3.4-cp38-none-linux_x86_64.whl

cd /home/TensorRT-7.2.3.4/uff/
ls
# 安装graphsurgeon，支持自定义结构
pip install graphsurgeon-0.4.5-py2.py3-none-any.whl

为了避免其它软件找不到tensorrt的库，建议把tensorrt的库和头文件添加到系统路径下

cd /home/TensorRT-7.2.3.4/
cp -r ./lib/* /usr/lib
cp -r ./include/* /usr/include

TensorFlow文档安装

国内镜像

https://mirrors.cloud.tencent.com/nvidia-machine-learning/ubuntu1804/x86_64/

检查系统版本

source /etc/os-release && echo $VERSION_ID

导入apt仓库和其GPG key

# 第一步若输出 16.04，请用下面的命令
curl -fsSL https://mirrors.cloud.tencent.com/nvidia-machine-learning/ubuntu1604/x86_64/7fa2af80.pub | apt-key add -
echo "deb https://mirrors.cloud.tencent.com/nvidia-machine-learning/ubuntu1604/x86_64//" > /etc/apt/sources.list.d/cuda.list

# 第一步若输出 18.04，请用下面的命令
curl -fsSL https://mirrors.cloud.tencent.com/nvidia-machine-learning/ubuntu1804/x86_64/7fa2af80.pub | apt-key add -
echo "deb https://mirrors.cloud.tencent.com/nvidia-machine-learning/ubuntu1804/x86_64//" > /etc/apt/sources.list.d/cuda.list

安装所需版本的tensorRT

此次参照TensorFlow的官方文档

https://www.tensorflow.org/install/gpu

# 这里以7.1.3版本为例
apt-get update && apt-get install -y --no-install-recommends libnvinfer7=7.1.3-1+cuda11.0 \
    libnvinfer-dev=7.1.3-1+cuda11.0 \
    libnvinfer-plugin7=7.1.3-1+cuda11.0
nvidia
tensorrt
客服