outlines 结构化文本生成框架
outlines 结构化文本生成框架
包含的特性
- 多模型集成，openai，transformers，llama.cpp, exllama2,mamba
- 基于jinja 模版引擎简单强大的提示词
- 类型约束，多选择支持
- 快速正则结构生成
- 基于json schema 以及pydantic 模型的快速json 生成
- 基于ggrammar 的结构生成
- 批量推理
- 支持循环、条件、自定义python 函数的生成
- 生成cache
- 基于vllm 的服务提供
说明
outlines 支持的模型还是比较多，很值得尝试下，对于直接使用api 模式的instructor 是一个很不错的选择
参考资料
https://outlines-dev.github.io/outlines/welcome/
https://github.com/outlines-dev/outlines
https://python.useinstructor.com/
