基于大语言模型的 Zotero 论文翻译方案
前言
今年不少国产大模型在打价格战,有些小模型甚至免费提供 API 使用。gpt-4o-mini 的推出更是击穿了大模型 API 的底价。未来预计会出现更强大、更便宜的模型。
笔者使用 Zotero 的论文翻译插件 zotero-pdf-translate 也有一段时间了,但长期以来一直使用 Google 提供的接口。众所周知大语言模型的翻译能力已经显著超越了传统机器翻译,因此这两天调查了一下大模型的翻译方案,现在把总结写在这里。
关于 zotero-pdf-translate 插件
该插件的完整文档可以查看 GitHub。功能其实很简单,用 Zotero 内置的 PDF 阅读器打开 PDF 后,选中词或段落即可自动触发翻译。可以在 Zotero 设置中调整翻译接口。传统的机器翻译我们不讨论,仅集中讨论该插件的“GPT”接口。
该插件有适用于 Zotero 6 和 Zotero 7 的两个版本。由于目前 Zotero 7 还在测试,我使用的一直是 Zotero 6。在 6 版本中,zotero-pdf-translate 插件的GPT接口仅支持自定义接口(即 API URL)、密钥和温度,唯独不支持自定义模型,默认的模型我记得是 GPT-3.5-Turbo 且不可修改。据说 7 是可以修改的。
随后在插件的 GitHub issue 中了解到 Zotero 6 可以直接在高级设置中修改模型:见此处。下面介绍一下具体步骤。
打开 Zotero,点击菜单栏“编辑”-“首选项”,选择“高级”选项卡。
点击“高级设置”-“编辑器”按钮。首次打开时,Zotero 可能会弹出警告,忽略即可。然后搜索“gptModel”,双击图示的行,即可编辑模型。
可以看到我这里已经改过了。
至于其他的 API URL、温度、密钥这些,都可以在“翻译”选项卡中轻松修改。
这样一来,实际上该插件就能支持所有 OpenAI 风格的 API 了,也能支持各种中转商了。可选的模型范围一下变得大了许多,
关于大模型 API 供应商的挑选
这一节可能才是本文的重点。我将分成以下 3 种类型来介绍一下目前的 API 供应商的情况。目前大模型正火,受到个人视野限制,本文涵盖的供应商可能只是一小部分。
大模型厂商自营平台
这里还要分成两种情况:国外的厂商和国内的厂商。
国外
OpenAI 官方的没了解过,但是听说 OpenAI 现在对 API 调用也开始查 IP 了,节点不对的话可能会封号。
Google 的 Gemini 倒是可以免费用:见 https://ai.google.dev/pricing
到底是财大气粗,是真的免费,但是有比较严格的请求频率限制,对话可能堪堪够用,并发请求基本上就没希望了。
Google 是自有 SDK,不支持 OpenAI 风格的 API。当然通过一些中转程序还是可以实现的,但是那有点麻烦了。
但是,经过测试,目前主推的 Gemini-1.5-Flash 的英译中效果还不如开源的 Qwen2-7B-Instruct,个人不是很推荐使用。如果是英文内容可以尝试。
另外经实测,Google 的大模型服务在国内无法直连。
国内
国内的只深入看了一下阿里云的:https://dashscope.console.aliyun.com/overview
目前阿里云的这个大模型平台是以阿里的(闭源)通义千问系列为主,同时还引入了一些开源的模型,比如(开源版)Qwen、Llama3、百川、ChatGLM 等。
新用户(包括阿里云现有用户但未开通大模型服务的)开通大模型服务后会给几乎每个模型都赠送 1M Token 的免费额度,可惜期限只有 30 天,我在对比 API 供应商时该免费额度已经过期了。该平台的模型都是先用后付,调用产生的账单可以在 此处 查看,调用记录会延迟大约一个小时。消耗的就是当前阿里云账号的余额。阿里云余额可以通过支付宝或银联充值,充值金额没有门槛,1 分也能充。余额可以随时提现。
这里放一些定价的链接:(闭源)通义千问 | (开源)Qwen | (开源)百川 | (开源)ChatGLM
里面有一些特别小的模型是免费的,但是特别小的模型的效果没有保障,我在尝试使用 1.5B 大小的 Qwen2 时它甚至直接把英文内容重新叙述了一遍。
阿里云的这个平台有自己的 SDK,但也兼容 OpenAI 风格的 API,因此可以用于 zotero-pdf-translate。
此外还看了一下百度的平台,但是貌似不支持 OpenAI 风格的 API。
总结:国外平台门槛很高。Google 可以免费用,但中文能力一般。国内平台阿里云是做的比较好的。别的没细看。
- 模型数量:一般
- 能否直连:国内平台显然都可以
- 延迟:较小
- 定价:一般。大降价之后还好。
- 是否有免费额度:有,但会过期。
- API:自有 SDK 和兼容 OpenAI 的 API
- 充值是否方便:方便
- 是否支持退款:是
- 估计可靠性:极佳
OpenAI 中转
众所周知国内是无法直连 OpenAI 的官方 API 的,所以出现了很多中转平台。一些中转平台还会接入 Claude、Gemini 这些模型,甚至还会接入一些自行部署的开源模型。这里列出自己发现并实际注册过的两个中转平台。
https://www.gptapi.us/ 基本上只有一些常见的国外模型,价格会比官方的模型便宜不少,注册送 0.2 美元的试用额度。有两个问题:
- 优惠力度大的模型不能并发访问,具体 RPM 是多少貌似没有写出来,估计不会很多。支持并发访问的版本价格要贵一些(仍然低于官方价格)。
- 充值是 50 元起步,太贵了。虽然号称绝不跑路,但是 50 元额度按正常使用频率来说,能用很久了。
https://aihubmix.com/ 这是我使用的另一个翻译软件 pot 所推荐的中转平台。平台是按美元计费的,但充值会有一个汇率上的折扣(1$=6.3¥)。目前还没有实际调用,充值 1 美元起步,也比较合理。遗憾的是没有免费额度供试用。
- 这个平台还接入了一些开源的模型。
- 这个平台价格和官方保持一致,也就是说 GPT 系列、Claude 系列会比官方稍微便宜一点(便宜在汇率的折扣上),但其他平台(例如国产的闭源通义千问)会稍微贵一些。
以该平台的 Qwen-Turbo 模型为例,该模型在平台的价格是 $0.36/1M 输入 Token,$1.08/1M 输出 Token,相同的模型在阿里云官方平台的定价,按照优惠汇率换算到美元是 $0.32/1M 输入 Token,$0.95/1M 输入 Token。
总结:
- 模型数量:视平台而定,主要是国外闭源大模型的中转。
- 能否直连:一般都可以,这也是中转平台解决的主要痛点之一。
- 延迟:视平台而定,一般会比国内的官方平台慢一些。
- 定价:比较便宜
- 是否有免费额度:视平台而定。
- API:OpenAI 风格的 API
- 充值是否方便:方便
- 是否支持退款:一般都不支持
- 估计可靠性:一般
OpenRouter
可能是目前最强的中转平台了。https://openrouter.ai/
可以直连,模型非常多,包括各大闭源商业模型和开源模型,文档齐全,看起来服务应该也会非常稳定。
有大约 $1 的试用额度。模型定价和官方的平台基本一致,少部分模型会有一定的优惠,最重要的是该平台对一些 7B 左右规模的模型提供免费服务,免费模型的请求频率限制是每分钟 20 次、每天 200 次。
支持 OpenAI 风格的 API。
充值上支持信用卡,不支持借记卡。支持银联。
总结:
- 模型数量:非常多
- 能否直连:可以
- 延迟:较好。实测和阿里云的速度差不多。
- 定价:一般。但有免费模型,且参数规模比国内的平台大。
- 是否有免费额度:是
- API:OpenAI 风格的 API
- 充值是否方便:不是很方便,但还好(能支持银联已经很不容易,但可能不是所有人都有信用卡)
- 是否支持退款:不知道,因为没充过。
- 估计可靠性:较好
最终方案
使用 OpenRouter 提供的免费 Qwen2-7B-Instruct 模型。
具体使用方法:注册一个 OpenRouter 账号,然后新建一个 API Key。在 zotero-pdf-translate 插件的“GPT”接口设置中,填入 API Key,接口填 https://openrouter.ai/api/v1/chat/completions
,模型根据前文的方法设为 qwen/qwen-2-7b-instruct:free
,温度保持默认即可。
总结
- 如果用量不大,非并发请求,可以用 OpenRouter 的免费模型。
- 如果要付费使用的话,比较推荐用中转站的 GPT-4o-mini,价格还算便宜。
- 如果是长文输入、短输出的场景,可以考虑用通义千问专为此场景定制的 qwen-long,价格很便宜。
- 如果是英文内容,可以考虑 Google 的 Gemini,可以免费用。