分享 |迅为基于RK3588开发板部署测试DeepSeek模型

 

最近,AI界新星DeepSeek(中文名:深度求索)迅速崛起,凭借低成本、高性能的AI模型火爆全网。其核心是一个强大的语言模型,能够理解自然语言并生成高质量文本,此外DeepSeek免费向全球开发者开放,加速了AI技术普及。

 

 

RK3588性能优势

RK3588作为一款高性能AI芯片,采用了8nm LP 制程,搭载八核处理器,四核GPU以及6TOPS算力的NPU,依靠强大的性能和低功耗特性,非常适合边缘计算场景。

RK3588开发板连接器版:

 

 

 

能否在RK3588部署Deepseek

RK3588上部署Deepseek有两种方法,分别是使用Ollama工具部署和使用瑞芯微官方的 RKLLM量化部署。下面分别对这两种部署方式进行介绍。

 

01-使用Ollama工具部署

Ollama 是一个开源的大模型服务工具,可以支持最新的deepseek模型,以及Llama 3,Phi 3,Mistral,Gemma 和其他多种模型,在安装Ollama工具之后,使用以下命令即可一键部署15亿参数的deepseek-r1模型,运行之后如下图所示:

 

ollama run deepseek-r1:1.5b

 

 

 

 

接下来就可以向该模型进行提问了,如下图所示:

 

 

 

 

这里只是运行的15亿参数大小的模型,所以回复的可能并不是很准确,如果想要更高的准确率可以切换为参数更大的模型,但参数变大之后相应的回复速度也会变慢,并且使用Ollama工具部署的推理模型调用的是CPU进行的运算,如下图所示:

 

 

 

可以看到在回复的过程中CPU的负载达到了百分之百,并没有调用NPU进行加速,那要如何将RK3588强悍的NPU调用起来呢,这就要看第二种方法使用瑞芯微官方的RKLLM进行量化部署了。

02-使用RKLLM量化部署

 

RKLLM-Toolkit 是为用户提供在计算机上进行大语言模型的量化、转换的开发套件。通过该工具提供的Python接口可以便捷地完成以下功能:

1.模型转换:支持部分格式的大语言模型转换为RKLLM 模型转换后的 RKLLM 模型能够在 Rockchip NPU 平台上加载使用
2.量化功能:支持将浮点模型量化为定点模型

DeepSeek转换完成的RKLLM模型如下图所示:

 

 

 

 

然后将其传输到开发板上,使用对应的可执行文件运行即可,运行之后如下图所示:

 

 

 

 

接下来向该模型提出问题即可,回复内容如下所示:

 

 

 

 

 

在回复的过程中查看CPU和NPU的利用率,可以看到CPU的占用率已经降了下来,并且调用了NPU的3个核心进行加速推理:

 

 

 

至此,关于DeepSeek在RK3588上的部署推理就测试完成了。

 

 

 

 


产品亮点:

高性能RK3588芯片:采用8核64位处理器,主频高达2.4GHz,支持多任务并行处理,满足复杂工控场景需求。



邮票孔设计:紧凑型邮票孔接口,便于快速集成到工控设备中,节省空间,提升安装效率。

 

 


丰富接口:支持多种工业通信协议,兼容性强,轻松接入现有工控系统。

应用场景:智能制造:支持AI视觉检测、自动化控制,提升生产效率。
智能交通:适用于交通监控、车牌识别等场景,助力智慧交通建设。
能源管理:支持数据采集与分析,优化能源使用,降低运营成本。
医疗设备:提供稳定计算支持,适用于医疗影像处理、智能诊断等应用。
即插即用:邮票孔设计,带外壳版本,简化安装流程,快速部署。
工业级品质:坚固外壳设计,适应复杂工业环境,确保设备长期稳定运行。
带外壳版本:提供坚固外壳,适用于工业环境,确保设备稳定运行。

 

 

 

迅为电子——专注嵌入式系统,深度定制与构建。助力高可靠解决方案产品化落地。

posted on   topeet  阅读(72)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· 2 本地部署DeepSeek模型构建本地知识库+联网搜索详细步骤
历史上的今天:
2024-02-18 RK3568驱动指南|驱动基础进阶篇-进阶6 内核运行ko文件实验——系统调用

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示