triton使用踩坑

1、启动服务时，默认会加载tensorflow1的backend so库。如果想要使用tensorflow2，则在启动命令中添加：

--backend-config="tensorflow,version=2"

则会自动加载镜像中/opt/tritonserver/backend/tensorflow2中的backend，当模型指定platform为tensorflow时，会自动使用名称为tensorflow的backend，此时即为tensorflow2.

2、如果想要使用tensorflow saved_model，模型配置方式如下：

对于graphdef模型，triton的默认文件名为model.graphdef。对于savedmodel，会默认在1（version）目录下找到model.savedmodel目录，然后在找对应模型及参数文件

models
├── resnet
│   ├── 1
│   │   └── model.savedmodel
│   │       ├── saved_model.pb
│   │       └── variables
│   │           ├── variables.data-00000-of-00001
│   │           └── variables.index
│   └── config.pbtxt
└── simple
    ├── 1
    │   └── model.graphdef
    └── config.pbtxt