基于Pytorch图像识别的ENAS项目-α迭代随笔
设想和目标
1. 我们的软件要解决什么问题?是否定义得很清楚?是否对典型用户和典型场景有清晰的描述?
- 软件以微信小程序为载体,以图像识别为方向,以CNN神经网络为模型,以ENAS为优化工具进行设计开发,主要解决ENAS的CNN模型实现问题。
- 软件定义为科研项目,实际上对项目产品的定位并不是非常的清晰,通过与老师交流后初步定义为上述框架,主要呈献给用户的就是微信小程序。
- 对于典型用户,实际上所有微信用户都可以作为产品的用户,这是一个异常庞大的团体。而对于典型场景来说,理想状态下是对某一物体或场景不认知时提供识别帮助,实际上我们目前所做的训练集较为简单,识别出的物体也局限于现有的很容易认知的事物。
2. 我们达到目标了么(原计划的功能做到了几个? 按照原计划交付时间交付了么? 原计划达到的用户数量达到了么?)
从项目完成情况来说,确实达到了预期的目标,本次迭代主要以框架部署搭建为基准进行实施,为第二次迭代开发作为软件基础,主要实现了以下功能块:
- 原计划功能:
前端页面设计与页面交互,数据交互,服务器搭建及环境配置,识别手写体功能实现及部署
- 实现情况:
前端页面基本按照设计完成,页面交互的设计已经实现,但是在和服务器进行连接的过程中还不够完善,数据的传入传出和数据库的建立还没有实现。
服务器搭建已经成功实现,并且已经成功将代码部署在服务器上,实现了对服务器的应用。
能够成功实现手写体识别,并且实现了图像处理功能,使得程序可以直接识别用户上传的内容,并且具有一定的精准度。
3. 用户量, 用户对重要功能的接受程度和我们事先的预想一致么? 我们离目标更近了么?
- 科研项目,以我认知而言没有用户量这一概念,并且由于小程序的审核,https加密,域名备案等限制小程序的上线和发布,所以就当前开发版本而言没有用户量可言,并且用户量在该项目中变得毫无意义。
- 前端、后端以及前后端框架实际上在本次迭代中都已经完全部署,我们的最终目标实际上大头部分为ENAS的实现,小头部分为微信小程序功能的实现,现在第二部分实际上都已经实现,可以说离目标更进一步。
4.有什么经验教训? 如果历史重来一遍, 我们会做什么改进?
以我而言,项目的分工实际上并不明确。这在本项目中确实很难做到,我作为前后端连接部分以及后端模型的实现,实际上要把前端后端和flask框架均要学习,渗透到项目的方方面面。这当然会导致一部分工作过剩,另一部分工作无法分配的情况。组内成员的分工也变得异常困难。当然如果重新再开始一遍,小组内的人员分工从一开始就应该划分好界限,哪怕一些人在α迭代中只作为学习人员,也不能混合起来。项目作为ENAS的应用实现,对于组内大部分人员都有很大的难度挑战,项目的学习周期过长,没有很好的将时间利用起来。
计划
1. 是否有充足的时间来做计划?
时间相对来说还是较为充足,项目本身较为简单,并不是大型的项目,只是对算法要求相当的高。但是因为指导老师并没有给我们明确需求的原因,整个项目的计划并没有十分的明确,知道α迭代结束时,我们也只是象征性的做了一个需求分析的尝试,具体的需求很多需要在项目跟进的情况下继续去实施。因此而言,我们很早的就开始着手进行项目的开发和学习,在不断的摸索过程中进行深度的动态需求分析。
2. 团队在计划阶段是如何解决同事们对于计划的不同意见的?
团队实际上分工是由PM来决定,但是由于项目的算法性质,以及团队里面的开发人员有较为丰富的算法经历,所以大部分计划分工或者是不同的意见都是优先考虑我和另一位开发人员,罕有不和的时间,有也是组内人员少数服从多数或者商量纠正。
3. 你原计划的工作是否最后都做完了? 如果有没做完的,为什么?
团队的工作除了数据库的部署和设计放在了第二次迭代计划中,其他都完成。
4. 有没有发现你做了一些事后看来没必要或没多大价值的事?
有。由于整个项目,我做前后端连接部分,因为没有任何经验,甚至连框架都不知道用什么,开始学习了很久的diango框架,最后采用的flask框架,做了很多无用功。其次在服务器https的配置上也走了很多弯路,导致Apach和Nginx并存的现象出现。
5. 是否每一项任务都有清楚定义和衡量的交付件?
没有,大家都在一起做,沟通都很及时,没有绝对标准,标准随时沟通调整,分别做出来可以分别跑通以后就直接整合对接。
6. 是否项目的整个过程都按照计划进行,项目出了什么意外?有什么风险是当时没有估计到的,为什么没有估计到?
- 是按照计划进行,但是有意外发生,在做模型时意外发现忘记考虑用户上传图片与测试集的处理,又分出了额外的大部分精力去处理图像。
- 显然上面的图像处理就是一个没有考虑到的风险,当时考虑到框架和模型,但是做计划时并没有考虑到数据的流通和格式匹配问题。
7. 在计划中有没有留下缓冲区,缓冲区有作用么?
有留下缓冲区,在缓冲区时间里对项目代码的规范性做了优化以及处理测试时遇到的意外情况。
8. 将来的计划会做什么修改?(例如:缓冲区的定义,加班)
由于接下来的项目难度较大,所以可能会需要较长时间专注于项目,并且要着重实现完成项目,可能会减少缓冲区的设置,多加班。
我们学到了什么? 如果历史重来一遍, 我们会做什么改进?
显然在项目中我完成了从0到1的蜕变过程,从根本上理解了一个项目的框架时如何建立的,整个项目是如何搭建起来的。同时对于服务器的配置以及前端设计都做了详细的了解,可以说已经开始入门,同时对于CNN神经网络的认知有提升了新的高度。
资源
1. 我们有足够的资源来完成各项任务么?
时间资源上,我们的时间还是比较充分的,完成任务的过程中也没有时间紧张感,但是也由于前期任务工作量过少,导致现阶段迭代任务量大,难度过高。软件资源上,我买了一个腾讯云服务器和域名除此之外没有其他资源的支持,实际上老师所给的ENAS论文资源已经足够支撑起整个项目的研究。
2. 各项任务所需的时间和其他资源是如何估计的,精度如何?
- 时间主要是按任务量估计,时间按各自的安排估计。
- 其他资源不多,估计度这里不再给出。
- 项目整体精度不好,不能总是保持高效且时间安排总会有意外的冲突。实际上整个项目在α迭代完成时也没有给出迭代开发每个计划任务的时间节点,只有最后一个总的deadline,这是不好的。
3. 测试的时间,人力和软件/硬件资源是否足够? 对于那些不需要编程的资源 (美工设计/文案)是否低估难度?
- 测试没有系统、详细的安排,在最终整合之后,有做了简单的测试,没有花费很多时间。
- 人力资源足够(即便我们组人数最少),硬件缺一个好的GPU服务器来提高算法的速度。
- 美工的任务量较少,需要完成的内容不是很多,但是美工的资源实际上从网上进行下载之外并没有其他的途径,美工资源不足并且第一次跌代截止时美工尚有待提高。
4. 你有没有感到你做的事情可以让别人来做(更有效率)?
并没有,实际上我的任务量不是很大,主要是难度上的问题,包括服务器配置和前后端连接。在这个过程中与小组内的其他同学也进行了详细的交流,有问题大家一起学习和解决。
有什么经验教训? 如果历史重来一遍, 我们会做什么改进?
没有向指导老师寻求更多的帮助,比如服务器域名资源,图像测试集和UI资源等。
变更管理
1. 每个相关的员工都及时知道了变更的消息?
每天都会在群里讨论,确保所有人的信息平等全面。
2. 我们采用了什么办法决定“推迟”和“必须实现”的功能?
一开始就决定了主体功能,主体功能没有调整过,附加功能都属于可推迟(但并没有推迟)
3. 项目的出口条件(Exit Criteria – 什么叫“做好了”)有清晰的定义么?
完成CNN对普通图片的处理并将结果通过微信反馈给微信前端。
4. 对于可能的变更是否能制定应急计划?
并没有制定应急计划,实际上并没有计划变更。而且我有信息在需求变更时及时对需求设计进行调整,总体来说并不会有大的变更,算法部分更不可能。
5. 员工是否能够有效地处理意料之外的工作请求?
哈哈哈算是有吧,老师突然要求制作一个数据集,全组人员不分白天昼夜分分钟跑出来马不停蹄的把数据集做了出来。
我们学到了什么? 如果历史重来一遍, 我们会做什么改进?
变更管理之一部分实际上并没有特别多的事情,项目都在有条不紊的进行,当然对于需求来说,如果要变更项目,需要提前小组内开会讨论具体的项目实现。实际上老师在第二次迭代时请求过变更项目方向,整个小组做了紧急讨论,最终敲定一个最终结果,还是写一个应急计划为好。
设计/实现
1. 设计工作在什么时候,由谁来完成的?是合适的时间,合适的人么?
整个模式的设计是在项目初期,由pm和老师沟通商定的。实际上在前八周设计开发过程中都有设计工作。
2. 设计工作有没有碰到模棱两可的情况,团队是如何解决的?
没有,每一个设计都需要详细的讨论是否可行,每一个做出的决定都带有很强的目的性和可行性,不存在模棱两可的情况。
3. 团队是否运用单元测试(unit test),测试驱动的开发(TDD)、UML, 或者其他工具来帮助设计和实现?这些工具有效么?
小组使用UML图进行详细的项目分析管理,通过活动图、用例图等分析项目的需求和对象。下面是小组设计的整个框架模型:
4.比较项目开始的 UML 文档和现在的状态有什么区别?这些区别如何产生的?是否要更新 UML 文档?
- 文档更加丰富了,会在项目推进中,不断完善、更新文档。同时随着对项目的不断理解,对UML文档进行了更新与完善,加强了对UML文档的设计。
- UML需要更新,我们没有设计ENAS算法的UML图,实际上整个算法才是项目的核心内容,在听取老师建议后需要对算法设计UML图。
5. 代码复审(Code Review)是如何进行的,是否严格执行了代码规范?
通过组与组之间代码互审进行的。我们的代码的代码规范有些缺失。
我们学到了什么? 如果历史重来一遍, 我们会做什么改进?
多使用UML对项目进行设计,项目的类和需求等严格按照UML设计的内容进行分析,同时交互性的对UML图进行更新和完善。同时建议使用代码管理平台,否则更新时对服务器不友好,而且已经导致了不少因为服务器冲突导致项目测试出错的案例。其次需要对代码的规范性进行复查和严格审核,代码的规范性尚有待提高。
测试/发布
1. 团队是否有一个测试计划?为什么没有?
有针对验收标准进行商议和参考,但是没有针对具体的计划。因为在初期迭代期间,我们以实现为主,完成是我们的工作重心。很大一部分项目都在摸索和尝试性的进行,完不完成都是一个未知数,更别提测试。当然第一次迭代之后会对项目设计测试计划,对ENAS的性能进行系统测试。
2. 是否进行了正式的验收测试?
是
3. 团队是否有测试工具来帮助测试?
没有
4. 团队是如何测量并跟踪软件的效能的?从软件实际运行的结果来看,这些测试工作有用么?应该有哪些改进?
暂未考虑
5. 在发布的过程中发现了哪些意外问题?
小程序的发布需要备案审核等,不考虑进行发布。
我们学到了什么? 如果重来一遍, 我们会做什么改进?
程序的完成与测试还是重点,同时要合理安排时间,留下确切的冷却期。项目做的过程中就会有很多次测试,如果第二次迭代开发有剩余时间,大家可能会制定比较详细的测试方案,同时在以后项目设计过程中要进行测试设计,专门分出项目测试员对项目进行系统且规范的测试。
团队的角色,管理,合作
1. 团队的每个角色是如何确定的,是不是人尽其才?
团队角色确定,以尊重个人意愿为首要因素,再根据实际情况协商确定角色。虽然分工有点混乱,前期主要以学习和帮助为主,我个人认为一个现阶段项目还是多让大家参与为主。
2. 团队成员之间有互相帮助么?
大家相互帮助才能共同进步,同时加快项目的进展。
3. 当出现项目管理、合作方面的问题时,团队成员如何解决问题?
大家共同商量,综合每一个人的意见,选取最符合大家要求的解决方式。
总结:
你觉得团队目前的状态属于 CMM/CMMI 中的哪个档次?
属于CMMI一级,完成级
你觉得团队目前处于 萌芽/磨合/规范/创造 阶段的哪一个阶段?
磨合基本完成,接下来是规范
你觉得团队在这个里程碑相比前一个里程碑有什么改进?
大家彼此更加熟悉,互相的配合会比之前更有效率,同时渐渐有了明确的分工和侧重点,比如我们这边PM侧重前端开发,而其他人员多侧重与后台算法设计,我主要侧重与前后端交互部分。
你觉得目前最需要改进的一个方面是什么?
提高效率,划分分工界限。
对照敏捷开发的原则, 你觉得你们小组做得最好的是哪几个原则? 请列出具体的事例。
在团队内部,最具有效果并且富有效率的传递信息的方法,就是面对面的交谈。我们小组每周都有交流,也每周都会开会讨论,不管线上线下(虽然有的时候没有写会议记录)。大家相互之间的交流也有助于我们进步。而且大家相互帮助,在面对问题时互相助力,共同解决。