摘要:
今天是五月四日,青年节,是一个值得纪念的日子;百科上说, 而现在,打工人早就没有这种权力了,今天醒来翻看手机,各种报道五四青年节活动,我却一点也感觉不到作为青年,在这个节日里有什么特殊的感受,毕竟明天就要开始继续上班,而且这周六还要补一天班,生产队的驴也不带这么拼的,这个时候又有谁站出来为这些青年说 阅读全文
摘要:
接上一篇在Python端的onnx模型验证结果,上一篇在Pytorch和onnxruntime-gpu推理库上分别进行效果效率统计分析,结论要比最初设置的50ms高很多,这一篇我将在C端写个测试代码进行推理验证。 ##一、onnxruntime的C库 AI模型部署肯定是要用C的,这是毋庸置疑的,目前 阅读全文
摘要:
接上一篇完成的pytorch模型训练结果,模型结构为ResNet18+fc,参数量约为11M,最终测试集Acc达到94.83%。接下来有分两个部分:导出onnx和使用onnxruntime推理。 ##一、pytorch导出onnx 直接放函数吧,这部分我是直接放在test.py里面的,直接从data 阅读全文
摘要:
继上一篇计划的实践项目,这篇记录我训练模型相关的工作。 首先要确定总体目标:训练一个pytorch模型,CIFAR-100数据集测试集acc达到90%;部署后推理效率达到50ms/张, 部署平台为window10+3050Ti+RX5800h. 训练模型的话,最好是有一套完备的代码,像谷歌的mode 阅读全文
摘要:
##一. DL模型落地步骤 一般情况下,一个DL任务落地的流程一般包含训练和部署两大部分,具体细分我认为可以分为以下几个步骤: 1. 明确任务目标:首先要明确我们最终要达到一个什么样的效果,假设我们的DL模型是一个函数y=f(x), 送入一张图片x后,模型需要吐出来一个什么样的y(基于此区分不同任务 阅读全文
摘要:
现在是2022年4月17日晚10点,本月计划的网课《csapp讲解》视频课看到了第八章“异常”第三讲,视频讲的很好但更新很慢,暂时没有最新的讲解,所以先做一个简单总结。总的来说,让我对自己写的代码是如何在操作系统中被加载然后按照代码逻辑运行有了更深层次的理解。这门课目前涉及到的知识点总的可以分为计算 阅读全文
摘要:
上一篇总结了设计模式的八大原则,本质上是对所有具体设计模式特性的一个总结,其中最重要的是依赖倒置原则,这是设计模式的根本所在,基于这个原则我们可以将软件系统中的变化点(不稳定&底层实现)和不变点(稳定点&顶层架构)解耦,让整个软件系统更加能适应变化。这篇继续上一篇的总结,对每一个设计模式做一个概述, 阅读全文
摘要:
三月份的另一个任务是李建忠老师讲解的“设计模式”这门课,整体上过了一遍,对23重设计模式也有了一个整体认识,大概了解了每个模式及其适用场景,这门课一个非常好的地方就是对每个模式讲解前先按照不考虑软件系统扩展性的思路写一份强耦合的代码,然后对其存在的问题进行分析,最后自然而然地引出相应的设计模式,这其 阅读全文
摘要:
三月份的主要任务之一就是阅读CPrimary这本书,终于在昨天25号下午完成了基础部分的阅读,算是对基础知识整体梳理了一遍,开始看这本书大概可以追溯到去年12月份,在那之前看了C的入门书籍《Essential C++》,另外也完成了侯捷老师的《面向对象程序设计上和下》、以及《C源码剖析》这三个网课的 阅读全文
摘要:
目前在做推理引擎开发相关的工作,这块内容的话,对工程能力的要求还是比较高的,不再像以前只是写一些Python脚本训训模型就可以了,而且深入了解C之后,也能感受到Python较C暴露出的缺点,另一方面,由于模型推理所需的高效性,目前推理引擎的开发基本上都是用C来实现,而且其中绕不开的一个难点就是多线程 阅读全文