摘要：
VSCode 设置 GDB 调试工具 调试 Linux 平台应用 这里需要注意的我们的在 CMake 编译可执行程序时，需要加设置DEBUG模式。 例如： 通过命令行的方式 cmake -DCMAKE_BUILD_TYPE=Debug .. CMakeLists.txt 设置 set(CMAKE_B 阅读全文
摘要：
ConvReLU++ Reference-based Lossless Acceleration of Conv-ReLU Operations on Mobile CPU 1 核心问题 为了优化边缘设备上的 CNN 推理，我们寻求一个机会来节省 ReLU 的计算和延迟。ReLU 是一种广泛使用的 阅读全文
摘要：
原文地址 Abstract (key idea) 现在的Mobile Devices配备了很多的CPU+GPU+DSP的设备。但是现在的大多数NN model因为自己的顺序结构导致无法充分地利用这些异构处理器。本文提出了一种新的模型适应（model adaption）策略NN-Stretch，它针对 阅读全文
摘要：
LLM现在太火了，MNN也终于开源了一个MNN-LLM 项目支持 1 MNN-LLM 编译 1.1 android编译cli_demo 我们先去MNN那儿下载.so库和include/MNN。分别放入libs/和include上。 然后按照readme编译，我写了在windows上交叉编译的脚本。 阅读全文
摘要：
1 Q-Learning 强化学习中有state和action的两个重要概念。而Q-Learning算法就是用来得到在state上执行action的未来预期奖励。具体的算法流程如下： 初始化一个Q-table。 在当前状态\(s\)选择一个动作\(a\)。 执行动作\(a\)，转移到新的状态\(s' 阅读全文
摘要：
intel NCS2计算棒是由openvino支持的，但是目前openvino只有2022.3.1版本支持NCS2了，之后的版本都不支持计算棒了。 本文记录一下再NVIDIA Jetson Nano上用openvino实现NCS2的调用。 通过交叉编译openvino samples，通过bench 阅读全文
摘要：
这篇工作还是做的是一个DVFS技术，来动态调整CPU/GPU的电压和频率，达到节能、控温。 1. introduction 传统的DVFS技术主要停留在操作系统内核层面，与应用程序无关。但是不同的应用的需求决定了它们的最佳的CPU,GPU的功耗分布。 一些DVFS无法摆脱过热的问题。这里举例（图1） 阅读全文
摘要：
1.1 introduction 传统的DVFS的解决方案现在变成了次优解，因为没考虑到工作负载的特性。zTT提到了。 最近的面向应用的(application-oriented)的研究，通过给定应用的工作负载的上下文来学习和预测合适处理器频率。很难广泛应用开来。 现在手机的多任务情况越来越多，面向 阅读全文
摘要：
onnxruntime官方文档没有及时更新，有些地方和实际有些出入。这里记录一下onnxruntime-v1.16.0版本的编译指令。 1 linux x64交叉编译linux aarch64 1.1 准备要求 官方的给的的cmake编译文档是：Build for inferencing | onn 阅读全文
摘要：
## 1 端侧推理框架经验总结 总结下最近用过的一些框架，并介绍他们的主要特点和转换过程。 1. onnxruntime 2. ncnn 3. mnn 4. tensorflow lite 5. huawei hiai 6. paddlelite ## 2 模型部署转换过程 我们以torchvisi 阅读全文
摘要：
## 1 复现PaddleLite v2.11 demo 为什么复现2.11的版本呢？因为2.12的复现不出来. ### 2.1 准备 1. 设备: 九鼎创展 x1808开发板. 默认ssh账户root,密码123456 - 刷机要点: 按住K1键，然后板子上电，进入LOADER模式，使用瑞芯微提供 阅读全文
摘要：
## 1 编译ncnn ### 1.1 依赖 1. [ncnn@20230517](https://github.com/Tencent/ncnn/tree/20230517) 2. [protobuf@3.20.x](https://github.com/protocolbuffers/proto 阅读全文
摘要：
根据PaddleLite v2.12版本的[文档](https://www.paddlepaddle.org.cn/lite/v2.12/performance/benchmark_tools.html),Paddle已经提供了一个再Linux,MacOS以及Android平台上的C++ Bench 阅读全文
摘要：
针对 Intel 的 CPU 电源策略的考虑： P-State,C-State 分别意味着什么? 为什么调整 CPU 的 P-State 并添加负载，CPU 状态会调整回来。 是 Linux 调整，还是 CPU 自己调整的，C-State 是 OS 在调整 1 基本概念 1.1 C-State an 阅读全文
摘要：
## 1 [MobileOne](https://arxiv.org/pdf/2206.04040.pdf) ### 1.1 重要分析(Insight) 1. 作者为了找到**端侧推理时模型架构中的瓶颈部分**，它基于CoreML在iPhone上进行了延迟测试。 2. 经过测试，作者认为对于移动设备 阅读全文