10 2023 档案

MNN推理LLM
摘要：LLM现在太火了，MNN也终于开源了一个MNN-LLM 项目支持 1 MNN-LLM 编译 1.1 android编译cli_demo 我们先去MNN那儿下载.so库和include/MNN。分别放入libs/和include上。 然后按照readme编译，我写了在windows上交叉编译的脚本。 阅读全文
posted @ 2023-10-22 21:59 SheepHuan 阅读(1337) 评论(1) 推荐(1)
强化学习Q-Learning和DQN算法
摘要：1 Q-Learning 强化学习中有state和action的两个重要概念。而Q-Learning算法就是用来得到在state上执行action的未来预期奖励。具体的算法流程如下： 初始化一个Q-table。 在当前状态\(s\)选择一个动作\(a\)。 执行动作\(a\)，转移到新的状态\(s' 阅读全文
posted @ 2023-10-20 00:02 SheepHuan 阅读(420) 评论(0) 推荐(0)
Jestson Nano上基于openvino推理
摘要：intel NCS2计算棒是由openvino支持的，但是目前openvino只有2022.3.1版本支持NCS2了，之后的版本都不支持计算棒了。 本文记录一下再NVIDIA Jetson Nano上用openvino实现NCS2的调用。 通过交叉编译openvino samples，通过bench 阅读全文
posted @ 2023-10-16 20:19 SheepHuan 阅读(312) 评论(0) 推荐(0)
zTT@MobiSys '21
摘要：这篇工作还是做的是一个DVFS技术，来动态调整CPU/GPU的电压和频率，达到节能、控温。 1. introduction 传统的DVFS技术主要停留在操作系统内核层面，与应用程序无关。但是不同的应用的需求决定了它们的最佳的CPU,GPU的功耗分布。 一些DVFS无法摆脱过热的问题。这里举例（图1） 阅读全文
posted @ 2023-10-10 15:08 SheepHuan 阅读(221) 评论(0) 推荐(0)
GearDVFS@Mobicom '23
摘要：1.1 introduction 传统的DVFS的解决方案现在变成了次优解，因为没考虑到工作负载的特性。zTT提到了。 最近的面向应用的(application-oriented)的研究，通过给定应用的工作负载的上下文来学习和预测合适处理器频率。很难广泛应用开来。 现在手机的多任务情况越来越多，面向 阅读全文
posted @ 2023-10-08 16:50 SheepHuan 阅读(347) 评论(0) 推荐(1)
onnxruntime交叉编译
摘要：onnxruntime官方文档没有及时更新，有些地方和实际有些出入。这里记录一下onnxruntime-v1.16.0版本的编译指令。 1 linux x64交叉编译linux aarch64 1.1 准备要求 官方的给的的cmake编译文档是：Build for inferencing | onn 阅读全文
posted @ 2023-10-06 12:39 SheepHuan