DeepSeek+PageAssist实现本地大模型联网
技术背景
在前面的几篇博客中,我们分别介绍过在Ubuntu上部署DeepSeek、在Windows上部署DeepSeek、使用AnythingLLM构建本地知识库的方法,其中还包含了ChatBox的基本安装和使用。这里我们要介绍的是PageAssist,一个包含了大模型Chat、网络检索和知识库搭建的浏览器插件,不依赖于操作系统,而且功能配置非常丰富,可玩性很高,推荐使用。
安装PageAssist
访问PageAssist官网,点击install now:

添加到chrome:

点击插件图标:

第一个图标是固定到任务栏的意思,固定以后就可以直接在任务栏打开PageAssist窗口:

本地安装
如果访问不了Google,可以从我的网盘(一年有效期)里面下载一个压缩包,本地解压拿到一个crx文件,然后按照以下步骤导入谷歌浏览器。首先点击浏览器设置:

找到扩展程序:

点进去,把这个开发者模式打开:

然后把下载好的crx文件拖到窗口里面去:

选择添加扩展程序,

然后就可以在任务栏的插件选项里面找到PageAssist了。为了方便使用,可以把PageAssist固定到任务栏上面。
特别说明
该插件在Edge浏览器和谷歌浏览器都可以使用,其他浏览器未进行测试。
PageAssist设置
打开右上角的设置Settings
按钮,先设置一个中文语言:

根据自己的需求,配置一下网络访问(国内一般设置搜索引擎为百度或者搜狗,但是百度里面可能会有广告):

在RAG设置里面设置本地Ollama的Embedding模型,比如nomic-embed-text
,本地没有该模型的可以去模搭下载一个GGUF模型文件,参考这篇文章里面的方法进行本地模型构建,或者直接运行ollama pull nomic-embed-text
从Ollama的官方Hub里面下载该模型文件。
配置本地的大模型是在Ollama设置里面配置url:

如果只有本地的模型,用默认配置就可以了。在Ollama设置里面还可以支持很多细节设置,可以按照自己本地的硬件条件进行设置(不能使用中文,我这里特地改成英文查看下单位设置):

在这里可以手动配置加载进GPU的模型层数num_gpu
,和回答的严谨程度temperature
等,对于模型的性能提升和场景适配非常有帮助,配置完要记得保存。
在PageAssist里面还可以直接管理模型,例如拉取某个模型,或者删除某个本地模型(谨慎操作):

然后也可以像前一篇文章文章里面提到的,可以部署本地知识库:

PageAssist里面支持按照提示词进行对话分类,这个特点就有点像ChatBox里面不同的角色,可以进行不同风格的记忆和回答:

联网功能测试
选择一个模型,开始聊天:

可以用一些比较有时效性的问题进行网页浏览测试,例如“北京最近7天的天气怎么样?”:

在回答的末尾还可以看到他的citation:

在最底下这一行的按钮里面,可以查看每一次回答的tokens的速度:

建议模型的tokens速度要达到5 tokens/s
以上,使用体验才会好一些,如果速度低于1 tokens/s
,用起来会很难受。
总结概要
这篇文章主要介绍了通过使用PageAssist,来使得本地部署的DeepSeek模型可以联网搜索的方案。
版权声明
本文首发链接为:https://www.cnblogs.com/dechinphy/p/ds-pa.html
作者ID:DechinPhy
更多原著文章:https://www.cnblogs.com/dechinphy/
请博主喝咖啡:https://www.cnblogs.com/dechinphy/gallery/image/379634.html
本文作者:Dechin的博客
本文链接:https://www.cnblogs.com/dechinphy/p/18715481/ds-pa
版权声明:本作品采用CC BY-NC-SA 4.0许可协议进行许可。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
2023-02-14 Python3中的“加和”函数