广州英铭网站建设多合一seo插件破解版
本文介绍trtexec工具的使用，trtexec可以实现onnx模型导出trt模型、耗时分析和模型优化分析等功能，本节将对 trtexec的运用进行介绍。
1.trtexec
trtexec是官方提供的命令行工具，主要用于一下三个方面
生成模型序列化文件：由ONNX文件生成 TensorRT 引擎并序列化为 Plan文件/engine文件
查看模型文件信息：查看 ONNX文件或 Plan 文件的网络逐层信息
模型性能测试：测试 TensorRT 引擎基于随机输入或给定输入下的性能
trtexec提供了大量参数，整体可分为构建和运行两个阶段。
构建阶段常用参数
--onnx=: onnx文件路径
--minShapes=, --optShapes=, and --maxShapes=: 当是onnx模型时，可指定batchsize的动态范围。
–-memPoolSize=: 优化过程可使用的最大内存
--saveEngine=: 保存的文件输出路径
--fp16, --int8, --noTF32, and --best: 指定数据精度
--verbose: 是否需要打印详细信息。默认是不打印详细信息。
--skipInference: 创建并保存引擎文件，不执行推理过程。
--timingCacheFile=: 记录每个tensor的最小最大值、运行时间等,可以用来分析量化效果。
--dumpLayerInfo, --exportLayerInfo=: 打印及保存每一层详细信息 更多高级用法，
参考官方文档：https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#trtexec
运行阶段常用参数
--loadEngine=: 要加载的模型文件
--shapes=:指定输入张量的形状 --loadInputs=: Load input values from files. Default is to generate random inputs.
--warmUp=, 热身阶段最短运行时间，单位ms
--duration=, 测试阶段最短运行时间，单位s
--iterations=: 测试阶段最小迭代次数
--useCudaGraph: 采用 CUDA graph 捕获和执行推理过程
--noDataTransfers: 关闭host与device之间的数据传输
--dumpProfile, --exportProfile=: 打印及保存每一层性能信息
--dumpLayerInfo, --exportLayerInfo=: 打印及保存每一层详细信息 更多高级用法，参考官方文档：https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#trtexec
案例0：固定batchsize
输出固定batchsize的engine文件，这里需要注意，batchsize的状态需要与ONNX匹配，因此在生成onnx时需要设置好。
trtexec --onnx=resnet50_bs_1.onnx --saveEngine=resnet50_bs_1.engine
案例1: 动态batchsize使用 resnet50_bs_dynamic.onnx 可通过第十一章章生成
trtexec --onnx=resnet50_bs_dynamic.onnx --saveEngine=resnet50_bs_dynamic_1-32-64.engine --timingCacheFile=dynamic-1-32-64.c ache --minShapes=input:1x3x224x224 --maxShapes=input:64x3x224x224 --optShapes=input:16x3x224x224
通过下表可知，fp32时，大batchsize带来吞吐量增加不明显，因此可考虑时延的平衡，选择batchsize=8。
案例2：fp32、fp16、int8 性能比较
运行配套代码中的run.bat/run.sh，可以查看log，观察吞吐量、时延的变化。
如下图所示，吞吐量方面
fp16相较于fp32有约2~3倍提升，int8相较于fp16约2倍提升
相同精度时，吞吐量随batchsize增加，但在32后增速不明显。int8随着batchsize增速潜力更大。
时延方面
时延随着batchsize是线性增长
fp32, fp16, int8的时延依次递减一半
案例3：查看层详细信息
通过参数--dumpLayerInfo --exportLayerInfo，可以输出各层详细信息，以及融合情况，还有输入输出张量的名字 （Bindings）
trtexec --onnx=resnet50_bs_dynamic.onnx --saveEngine=demo.engine --skipInference --dumpLayerInfo --exportLayerInfo="exportL ayerInfo.log"
在exportLayerInfo.log文件中可以看到如下信息，主要包括
各网络层内容，以及融合情况“Reformatting CopyNode for Input Tensor 0 to Conv_0 + Relu_1”
Reformatting CopyNode 表示 TensorRT 将输入tensor 0 复制(Copy)到 Conv_0 和 Relu_1 两个层进行了融合 (Reformatting)。这里的 Reformatting 指的是 TensorRT 在优化网络结构时,会将一些层进行融合,以减少内存拷 贝和提高计算效率。CopyNode 则表示插入了一个拷贝层,用于将输入数据复制到融合后新的层中。
这种层的融合可以减少内存访问,优化数据流,从而提升推理性能。
Bindings：包括输入输出张量的名称，这个在onnx导出时设定的，在下游python推理代码中也会用到。
{"Layers": ["Reformatting CopyNode for Input Tensor 0 to Conv_0 + Relu_1" ,"Conv_0 + Relu_1"
,"MaxPool_2" ,"Conv_3 + Relu_4" ,"Conv_5 + Relu_6" ... ,"Reformatting CopyNode for Input Tensor 0 to Gemm_121" ,"Gemm_121" ,"reshape_after_Gemm_121" ], "Bindings": ["input" ,"output" ]}
案例4：verbose中的日志内容
打开verbose开关后，trtexec将输出详细内容，包括以下六大模块：
导入模型情况：模型格式、名称
参数配置情况：设置了哪些参数进行优化，例如 --fp16等
设备情况：当前GPU device具体信息
计算图优化细节：详细描述网络层融合情况，计算图优化结果
网络层实现方式选择（几千行）：打印每个网络层选择的kernel的过程，挑选耗时最低的方法
耗时统计：统计推理耗时时间，包括数据拷贝、推理等耗时的统计值
trtexec --onnx=resnet50_bs_dynamic.onnx --saveEngine=demo.engine --verbose > verbose.log 执行以下命令，可获得日志文件，下面对主要内容进行介绍。
Model Options ：包含导入的模型内容
[08/20/2023-11:59:45] [I] === Model Options ===
[08/20/2023-11:59:45] [I] Format: ONNX
[08/20/2023-11:59:45] [I] Model: resnet50_bs_dynamic.onnx
[08/20/2023-11:59:45] [I] Output:
Build Options：创建trt模型的参数设置
[08/20/2023-11:59:45] [I] === Build Options ===
[08/20/2023-11:59:45] [I] Max batch: explicit batch
[08/20/2023-11:59:45] [I] Memory Pools: workspace: default, dlaSRAM: default, dlaLocalDRAM: default, dlaGlobalDRAM: default
[08/20/2023-11:59:45] [I] minTiming: 1
[08/20/2023-11:59:45] [I] avgTiming: 8
[08/20/2023-11:59:45] [I] Precision: FP32
推理设置
[08/20/2023-11:59:45] [I] === Inference Options===
[08/20/2023-11:59:45] [I] Batch: Explicit
[08/20/2023-11:59:45] [I] Input inference shapes: model
[08/20/2023-11:59:45] [I] Iterations: 10
[08/20/2023-11:59:45] [I] Duration: 3s (+ 200ms warm up)
[08/20/2023-11:59:45] [I] Sleep time: 0ms
[08/20/2023-11:59:45] [I] Idle time: 0ms
[08/20/2023-11:59:45] [I] Inference Streams: 1
日志输出设置
[08/20/2023-11:59:45] [I] === Reporting Options ===
[08/20/2023-11:59:45] [I] Verbose: Enabled
[08/20/2023-11:59:45] [I] Averages: 10 inferences
[08/20/2023-11:59:45] [I] Percentiles: 90,95,99
[08/20/2023-11:59:45] [I] Dump refittable layers:Disabled
[08/20/2023-11:59:45] [I] Dump output: Disabled
[08/20/2023-11:59:45] [I] Profile: Disabled
[08/20/2023-11:59:45] [I] Export timing to JSON file:
[08/20/2023-11:59:45] [I] Export output to JSON file:
[08/20/2023-11:59:45] [I] Export profile to JSON file:
设备信息
[08/20/2023-11:59:46] [I] === Device Information ===
[08/20/2023-11:59:46] [I] Selected Device: NVIDIA GeForce RTX 3060 Laptop GPU
[08/20/2023-11:59:46] [I] Compute Capability: 8.6
[08/20/2023-11:59:46] [I] SMs: 30
[08/20/2023-11:59:46] [I] Device Global Memory: 6143 MiB
[08/20/2023-11:59:46] [I] Shared Memory per SM: 100 KiB
[08/20/2023-11:59:46] [I] Memory Bus Width: 192 bits (ECC disabled)
[08/20/2023-11:59:46] [I] Application Compute Clock Rate: 1.702 GHz
[08/20/2023-11:59:46] [I] Application Memory Clock Rate: 7.001 GHz
[03/28/2024-15:01:18] [I] === Device Information ===
[03/28/2024-15:01:20] [I] Available Devices:
[03/28/2024-15:01:20] [I] Device 0: "NVIDIA GeForce RTX 4060 Laptop GPU
[03/28/2024-15:01:20] [I] Selected Device: NVIDIA GeForce RTX 4060 Laptop GPU
[03/28/2024-15:01:20] [I] Selected Device ID: 0
[03/28/2024-15:01:20] [I] Compute Capability: 8.9
[03/28/2024-15:01:20] [I] SMs: 24
[03/28/2024-15:01:20] [I] Device Global Memory: 8187 MiB
[03/28/2024-15:01:20] [I] Shared Memory per SM: 100 KiB
[03/28/2024-15:01:20] [I] Memory Bus Width: 128 bits (ECC disabled)
[03/28/2024-15:01:20] [I] Application Compute Clock Rate: 1.89 GHz
[03/28/2024-15:01:20] [I] Application Memory Clock Rate: 8.001 GHz
补充一个4060的显卡信息，可以看到SMs是少于3060的，这个与基本厂商的刀法有关。虽然是4060的设备，但是计算 性能比不上3060设备。因为里边的核心——SMs是少于3060的30个SM的。“SMs” 代表 “Streaming Multiprocessors”（流处理器），流处理器是执行 CUDA 核心的基本单元，SM越大算力越大。 对于RTX 4060 Laptop，官方显示有3072个CUDA核心，对应24个SM，即一个SM有128个CUDA核心。 对于RTX 3060 Laptop，官方显示有3840个CUDA核心，对应30个SM，也是符合一个SM有128个CUDA核心的。 4060不仅流处理器少，带宽也低，128 bits VS 192 bits，唯一的优点就是8GB VS 6GB了。