本科与硕士阶段工作总结
大一(2013.9-2014.7):
简单概括:享受学习与生活,花花世界何其美好!
主要课程:C++、高等数学、大学英语、大学物理、离散数学与线性代数。
深刻印象:无忧无虑,但学习仅是为了考试?
--------------------------------------------------------------------------------------------------
暑假(2014.7-2014.8):
军训蛮有趣,雨中定向赛很刺激。
自学数据库SQL基础与C#语言。
--------------------------------------------------------------------------------------------------
大二(2014.9-2015.7):
简单概括:兴致盎然。
主要课程:Java、汇编、数据结构、算法、数据库、计网、计组、人工智能导论、多媒体、复变、概率论与数理统计、模电、数电。
深刻印象:
1. 基于Kinect的三维虚拟试衣镜(WPF + Kinect SDK + 3DS Max)。
2. Java编写记事本程序。
3. AVL树的实现与运用。
4. 音乐播放器(WPF)。
--------------------------------------------------------------------------------------------------
暑假(2015.7-2015.8):
1. 高校教务管理系统(WPF + SQL Sever)。
2. 基于传统图像分割算法的双行车牌字符分割程序 (WinForm + EmguCV):
2.1 数据准备(网上找 + 实地拍);
2.2 学习EasyPR,学习图像处理方法(预处理,灰度化,二值化,投影分割);
2.3 找博客、论文学习阴影去除方法和字符分割方法。
--------------------------------------------------------------------------------------------------
大三(2015.9-2016.7):
简单概括:课程压力大,但仍坚持进一步熟悉数字图像处理并迈入机器学习的大门。
主要课程:C#、MATLAB、操作系统、数字图像处理、计算机图形学、嵌入式系统、软件工程、微机接口、物联网RFID、自动控制原理、编译原理、电机与运动控制、计算机控制系统、无线传感网络、现代控制工程。
深刻印象:
1. 继暑假的车牌字符分割任务,进一步完成字符识别(机器学习——目标分类)。
2. 数字图像处理(视频融合Demo与街景红绿灯识别)。
3. 软件工程(快递代收app——Express)。
4. 嵌入式(基于温度与超声波测距的电机自动调速)。
5. 操作系统(txt模拟操作系统二级目录文件系统)。
--------------------------------------------------------------------------------------------------
暑假(2016.7-2016.8):
1. 见证杭州慕鱼科技有限公司的成立
2. G20回家进行考研知识点的复习
--------------------------------------------------------------------------------------------------
大四(2016.9-2017.6):
简单概括:保研至浙江工业大学图形图像研究所,继续跟随导师学习,正式加入团队,给实验室师兄师姐打打下手帮帮忙,时不时出下差。
学习总结:
1. 学习HOG、LBP等各种手工特征,尝试自构特征与融合特征,以优化车牌识别的效果与效率(尤其是模糊车牌的识别)。
2. 学习FFmpeg,提高YV12转BGR的效率,学习视频编解码。
3. 为方便进行视频分析处理,编写了视频播放器。
4. 研究基于背景建模和机器学习的车辆检测算法,实现交通场景的实时车辆检测(*****)。
5. 研究基于显著性算法的信号灯识别问题。
6. 出于对Pokemon的热爱,编写了Pokemon地图创建工具与简略游戏Demo。
7. 编写了SVM可视化训练与管理工具。
8. 编写基于机器学习的车辆样本自动采集系统。
9. 基于架构实现车辆压双黄线违章感知系统。
10. 基于架构,平台集成车辆结构化信息提取功能(车牌、车型、车标、车身颜色)。
--------------------------------------------------------------------------------------------------
暑假(2017.7-2017.8):
简单概括:出差驻点开发,算是实习。
从第三方视频云平台取视频流,对接现有的交通视频智能分析系统。
本人主要负责:
1. 第三方视频云平台的ocx组件调试与抓包分析;
2. 第三方视频云平台的DLL调试与抓包分析;
3. 基于FFmepg库实现多线程取流,并解码RTP头+PS封装的H264数据;
4. 对DLL接口进行二次封装;
5. 平台拉流性能测试。
--------------------------------------------------------------------------------------------------
研一(2017.9-2018.6):
简单概括:开始学习深度学习,拥抱最新技术,顺便学习了大数据。(静心学习相关理论。)
项目方面,封装深度学习API至DLL,以将深度学习用于替换原系统的相关模块。
主要课程:高级数字图像处理技术、计算机视觉、人工智能原理与应用、现代网络原理、计算理论基础、大数据与云计算、信息检索、科技论文写作、硕士英语、分布式数据库原理与设计、Machine Learning & Pattern Recognition。
工作总结:
1. 广泛涉猎各种深度学习相关资料与论文(计算机视觉与图像处理领域),学习Caffe、DarkNet、Tensorflow与Python。
2. 使用深度学习技术进一步完善车牌识别模块,以便能够处理各种制式的车牌并进一步提高识别准确率(进行了大量的标注工作)。
3. 编写游戏助手(基于特征匹配的屏幕目标监测程序,仿按键精灵)。
4. 奈文摩尔——看图写诗AI(基于深度学习的看图作诗系统,WPF + SSD + CharRNN):
C/S架构的PC端应用程序(客户端解析输入图像或文本,向服务器请求得到诗的主体后展示到UI)。
4.1 SSD目标检测模型预测物体类别,从基于《诗学含英》构建的表中搜索意象作为关键字;
4.2 Char RNN根据关键字,基于《诗学含英》一个字一个字地创作整首诗。
5. 基于Hadoop的车辆检索系统(Hadoop + HBase):
5.1 学习大数据与云计算视频教程;
5.2 参考网上的博客教程,在CentOS7 下搭建Hadoop2.7.6完全分布式环境,在Windows下搭建Hadoop的Eclipse开发环境,部署ZooKeeper与HBase;
5.3 参考Github有关工程,针对HDFS不适合存储图像小文件的缺陷,结合HIPI库,实现基于HBase的分布式图像检索功能。
6. 基于多算法集成的MRI脑肿瘤检测分割系统
集成算法:
基于OTSU的阈值分割方法
基于Morphology的分割方法
基于Flood-Fill的分割方法
基于Grab-Cut的分割方法
基于Silence的分割方法
基于Deep Learning的分割方法
7. 帮金融系同学小跃编写一个网页数据监控程序,以获取感兴趣的网页数据的实时动态信息。
8.编写基于多算法集成的车牌识别方法自动化测试系统。
--------------------------------------------------------------------------------------------------
暑假(2018.7-2018.8):
简单概括:实验室没有暑假,探究深度强化学习,深入目标检测与OCR,尝试在车牌识别任务上进行方法创新。
1. 阅读强化学习相关文献,并动手实践强化学习算法。
2. 调研各类商用车牌识别系统与顶刊顶会发表的车牌识别方法,寻找不足之处。
3. 定下研究课题——基于移动视觉的交通场景感知关键技术研究(开始往自动驾驶方向靠)
4. 研究课题实验环境的准备(Intel & 丰田开放的Carla驾驶仿真平台运行环境搭建,初步了解了下UE4)
5. 阅读YOLO源码
--------------------------------------------------------------------------------------------------
研二(2018.9-2019.6):
简单概括:阅读文献(CV与NLP前沿),撰写论文(EDF-LPR),准备开题报告,推进课题研究(基于移动视觉的交通场景感知关键技术研究)。
工作总结:
1. 基于暑假期间对车牌识别的调研与分析,将自然语言处理领域的Sequence-to-Sequence方法迁移到车牌识别任务,用以替换传统的基于启发式方法的车牌字符排列组合;
概括出基于深度学习的车牌识别新框架(Encoder-Decoder based Framework for License Plate Recognition, EDF-LPR),进行了大量的样本标注与充分的实验论证。
2019年1月4日投至IEEE T-ITS期刊(SCI JCR1区),2019年4月中旬收到审稿意见,很遗憾……
2019年4月28日修改后投至IET ITS期刊(SCI JCR3区),2019年8月初收到审稿意见;修改后于8月31日反馈revised manuscript与response letter。
2. 基于KCF的目标检测优化(结合原论文,系统阅读KCF源码,建立跟踪与检测之间的联系)。
3. 辅导本科生毕业设计(基于深度学习的占道经营检测系统设计与实现)。
4. 使用Tensorlow框架,研究基于语义分割的道路信息理解。
--------------------------------------------------------------------------------------------------
暑假(2019.7-2019.8):
1. 秋招准备。
2. 论文实验补充与答复意见撰写。