推理serving框架

1、AI-Serving

AI-Serving是一款开源的机器学习和深度学习模型部署推理（inference）系统，支持标准的PMML和ONNX格式，同时提供HTTP（REST API）和gRPC两种接口，方便在不同的生产环境中使用。

AI-Serving主要关注在标准交换格式的模型部署，目前PMML和ONNX是在部署机器学习中使用最广泛的的两种格式。其他格式，比如PFA，也会在后续的考虑中。

https://github.com/autodeployai/ai-serving