TensorRT 数据格式说明
TensorRT数据格式说明
NVIDIA ® TensorRT™支持不同的数据格式。需要考虑两个方面:数据类型和布局。
数据类型格式
数据类型是每个单独值的表示。它的大小决定了数值的范围和表示的精度;分别是FP32(32位浮点或单精度),FP16(16位浮点或半精度),INT32(32位整数表示)和INT8(8位表示)。
布局格式
布局格式决定了存储值的顺序。通常,批次维度是最左侧的维度,其它维度指的是每个数据项的各个方面,例如C 是频道 H 是高度,并且 w ^是宽度(以图片为单位)。总是忽略在这些之前的批量大小,C, H和 w ^ 通常依据以下示意图中。
定义了更多格式,以将通道值打包在一起并降低精度。因此,TensorRT也支持格式 NC/2HW2 和 NHWC8。
在 NC/2HW2,每对通道值打包在一起 高宽矩阵(在奇数通道的情况下为空值)。结果是一种格式,其中的值 ⌈C/2⌉高宽矩阵是两个连续通道的值对。
This ordering interleaves dimensions as values of channels that have stride1if they are in the same pair and stride2xHxWotherwise.
在 NHWC8, HxW矩阵包含所有通道的值。此外,这些值打包在一起⌈C/8⌉ 8元组里, C 四舍五入到最接近的8的倍数。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)