推理server 一

kserve 关于pytorch模型的支持：

V1使用kserve的pytorchserver：

https://github.com/kserve/kserve/tree/master/python/pytorchserver

V2  torchserve适配kserve：

https://github.com/pytorch/serve/tree/master/kubernetes/kfserving

 

torchserve-kfs的启动命令：

python -m pytorchserver --model_name  A   --model_class_name b  --model_dir /mnt/models --http_port 8080 

tensorflow serving 启动参数：

/usr/bin/tensorflow_model_server  -- port 9000 -- rest_api_port 8080   --model_name sdf --model_base_path /mnt/models  --rest_api_timeout_in_ms  600000

 

torchserve使用的模型格式：

TorchServe使用扩展名为.mar的模型存档格式。.mar文件使用state_dict（将每个图层映射到其参数张量的字典对象）打包模型检查点或模型定义文件。您可以torch-model-archiver在TorchServe中使用该工具来创建.mar文件。您无需创建自定义处理程序，只需指定即可--handler image_classifier，它会自动为您设置处理程序。现在您已经拥有.mar文件，请使用TorchServe托管它。运行以下代码：

torch-model-archiver --model-name densenet161 \
--version 1.0 --model-file serve/examples/image_classifier/densenet_161/model.py \
--serialized-file densenet161-8d451a50.pth \
--extra-files serve/examples/image_classifier/index_to_name.json \
--handler image_classifier