Prompt Playground: 一个简易的提示词调试工具

Prompt Playground: 一个简易的提示词调试工具

将LLM引入到日常的开发工作中后,会面临大量的提示词调试的工作,由于LLM不确定性,这个工作会变得非常的繁琐,需要不断的调整,甚至需要大量的重试来确保输出结果的稳定性,以确保提示词的有效性。
通常情况下可能会使用OpenAI(Azure OpenAI) 提供的Playground 或者其他的一些工具例如 Semantic Kernel Tool进行调试。
但是不免还是会有一些不便,例如无法批量调用,无法快速的对比输出结果的差异等等。

于是我就写了一个小工具,方便进行提示词的调试工作,这就是 Prompt Playground.

功能介绍

目前Prompt Playground 处于早期开发阶段,已经支持了以下功能:

  1. 多模型支持: Azure Chat Completions(gpt-35,gpt-4)、 Baidu ERNIE Bot Turbo
  2. 批量结果生成: 可以一次性生成多个模型的结果,方便对比
  3. Semantic Kernel 提示词导入和保存: 支持skprompt.txt 格式的提示词文件导入和导出,方便进行提示词的调试和保存
  4. Semantic Kernel 提示词配置文件修改: 支持 skprompt.txt 对应 config.json 文件的加载和修改
  5. Semantic Kernel 提示词参数填充

界面介绍

main Window

界面相对简洁直观,主要分为三个部分:

菜单栏: 提供了一些基本的功能,例如模型接口的配置,skprompt.txt 文件导入

功能区: 包含提示词和config.json 文件的编辑区域,以及一些基本的操作按钮

结果区: 用于展示模型的输出结果和一些状态信息

使用方法

首次使用的时候需要先点击菜单栏的配置按钮,进行模型接口的配置,配置完成后,关闭即可。

Max Generate Results 指最大生成结果数量,默认为3。

Config Window

完成配置之后,就可以在主界面直接输入提示词,点击生成(Ctrl + G)按钮,即可生成结果。

如果有使用 Semantic Kernel的项目,可以点击打开(Ctrl + O)菜单,打开skprompt.txt 文件,文件内容会自动填充到编辑框中.

此时也可以看到多了一个config.json的Tab,点击编辑框右侧的Tab即可切换到 config.json 的编辑界面,可以对config.json 进行修改。

Config Json Window

修改完成之后,点击保存(Ctrl + S)按钮,即可保存修改后的skprompt.txt 和 config.json 文件。

构建与贡献

该项目目前在Github上开源,使用.NET 7 + AvaloniaUI 进行开发,支持跨平台,目前提供了 Windows 的构建版本。
有兴趣的同学或者有跨平台需要的同学可以自行构建。

如果有任何问题或者建议,也欢迎提issue或者PR。


知识共享许可协议本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可。


🤝WE WANT YOU!

posted @ 2023-07-14 11:11  宵伯特  阅读(533)  评论(0编辑  收藏  举报