5组-Alpha冲刺-4/6

一、基本情况

队名：奶茶命运共同体

组长博客：https://www.cnblogs.com/pat-chou-li/p/15553160.html

小组人数：9

二、冲刺概况汇报

吴振溢：

过去两天完成了哪些任务

• 全国热词TOP5动态环图组件封装。

• 展示GitHub当日代码/文档签入记录

  

接下来的计划

• 继续完成大数据平台的搭建，并模拟接口注入数据。

还剩下哪些任务

• 省份政策热词排名及占比表
• 接口接入

燃尽图

遇到了哪些困难

发现dataV的监听有问题

有哪些收获和疑问

进一步学习了dataV的使用。

发现dataV的监听有问题，用展开运算符进行浅拷贝重新渲染数据。

PSP & 学习进度条（学习进度条每周追加）

PSP：

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划
· Estimate	· 估计这个任务需要多少时间	5	5
Development	开发
· Analysis	· 需求分析 (包括学习新技术)	-	-
· Design Spec	· 生成设计文档	-	-
· Design Review	· 设计复审	-	-
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
· Design	· 具体设计	-	-
· Coding	· 具体编码	120	80
· Code Review	· 代码复审	10	10
· Test	· 测试（自我测试，修改代码，提交修改）	10	10
Reporting	报告
· Test Repor	· 测试报告	-	-
· Size Measurement	· 计算工作量	-	-
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
	· 合计	150	110

学习进度表：

第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
1	168	168	2.5	2.5	完成标题和财政收入排名图
2	262	430	2	4.5	完成政策总数数字翻牌器
3	215	645	2	6.5	完成全国高频政策词汇排名动态轮播图
4	122	767	2	8.5	完成全国热词TOP5动态环图

黄朝威：

• 过去两天完成了哪些任务

  • 对福建省部分空数据进行重新采集以及添加部分字段数据。

  • 对广东省整省数据获取方式进行分析以及对广东省整省数据进行采集。

  • 对上海市数据获取方式进行简单分析。

  • 展示GitHub当日代码/文档签入记录

    

• 接下来的计划

  • 根据福建和广东在采集数据中所出现的各种异常进一步改进爬取的思路，针对异常进行特殊处理避免在爬取过程中抛出未处理导致爬取数据中断，以及结合福建和广东爬取的代码进一步推广到其它省、直辖市、自治区。

• 还剩下哪些任务

  • 各种省份及其部门的数据规范爬取。
  • 对应部分省份的不同地级市的数据爬取。

• 燃尽图

  

• 遇到了哪些困难

  广东不愧是大省，相对福建做了基本的防范措施例如当请求速度过快时，远端主机会认定为存在恶意行为强制断开连接，不过好在可以通过线程睡眠的方式暂时缓冲，避免爬取速度过快（快进到包分配吃国家饭了），在爬取并将数据插入到远端数据库前均对爬取代码进行基本测试避免在正式爬取过程中因为想不到的异常中断爬取，所以对网页采用的编码方式进行了基本数据统计，由于采用的是全省方式直接进行爬取，在部分地级市网页采用的编码甚至能让Python疑问到有这种编码方式吗，直接黑人问号（？？？），更大的困难是考试临近实在不能全身心投入，github的commit记录基本是测试成功后才push中间迭代了非常多的版本几乎都没有push。

• 有哪些收获和疑问

  • 又又进一步加强了Debugger能力，进一步加强了对PyCharm各种工具的使用，以及我的评价是PyCharm的git操作还真方便，准确来说是git图形化操作就便捷，又进一步熟悉了如何通过网页开发者工具获取部分有用信息，了解基本逆向JS。
  • 疑问在于相同编码条件下，控制台使用Python输出GBK字符'•'成功，使用PyCharm无法正常输出（这就很头疼了，试图通过输出文件标题来分析爬取进度方式失败，仅能通过输出URL来分析进度条，看这一行行URL明显较麻烦·)

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	5	15
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发
  · Analysis	· 需求分析 (包括学习新技术)	20	30
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	30	45
  · Design	· 具体设计	10	80
  · Coding	· 具体编码	120	60
  · Code Review	· 代码复审	10	10
  · Test	· 测试（自我测试，修改代码，提交修改）	10	240
  Reporting	报告
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	5	10
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	50
  	· 合计	220	545

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	325	325	12	12	成功抓取特定的数据，完成对于项目可行性的分析。
  2	132	457	8	20	完善对福建单一省份的数据爬取方式，为后续其它省份提供参考代码将极大简化工作。
  3	298	755	11	31	又对福建省单一省份数据抓取方式进行更新，以及推广至广东省使用。
  4	175	930	8	39	对广东省数据抓取方式不断更新迭代，不断处理存在的异常。

周伟杰

• 过去俩天完成了哪些任务

  • 省份活跃度排名的接口完成50%

    

• 接下来的计划

  • 进一步的学习

• 还剩下哪些任务

  • 完成返还省份活跃度排名的接口
  • 服务器部署上线

• 燃尽图

  

• 遇到哪些困难

  • 没有部署服务器的经验
  • 对后端开发的具体流程还不太熟悉
  • 要考试了

• 有哪些收获与疑问

  • 零基础学习还是有点困难

• PSP&学习进度条

  • PSP表格

    PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
    Planning	计划	10	10
    Estimate	估计这个任务需要多少时间	10	10
    Development	开发	390	510
    Analysis	需求分析 &ppt&(包括学习新技术)	50	60
    Design Spec	生成设计文档	-	-
    Design Review	设计复审	-	-
    Coding Standard	代码规范 (为目前的开发制定合适的规范)	10	20
    Design	具体设计	-	-
    Coding	具体编码	200	400
    Code Review	代码复审	-	-
    Test	测试（自我测试，修改代码，提交修改）	30	30
    Reporting	报告	10	15
    Test Report	测试报告	-	-
    100Size Measurement	计算工作量	-	-
    Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	15
    Total	合计	310	535

    • 学习进度表

    第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
    1	0	0	6	6	掌握了后端开发基础知识
    2	0	0	5	11	了解了mybatis-plus的使用
    3	500	500	6	17	环境基本搭建
    4	100	100	6	23	接口编写50%

    ​

张乐芃：

• 过去两天完成了哪些任务：

  • 搜索模块（10%）
  • 整理组件抽象数据便于接口接入

• 接下来计划：

  • 搜索模块剩余

• 还剩下哪些任务：

  • 组件封装
  • api封装
  • 各模块交互
  • 前后端联调
  • 部署上线

• 燃尽图：

• 遇到了哪些困难：
  • 筛选条件好无聊，不知道数据
• 有哪些收获和疑问：
  • 收获：no 收获 only 痛苦
  • 疑问：究竟还要多久
• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	20	10
Estimate	估计这个任务需要多少时间	5	10
Development	开发	-	-
Analysis	需求分析 &ppt&(包括学习新技术)	30	40
Design Spec	生成设计文档	-	-
Design Review	设计复审	-	-
Coding Standard	代码规范 (为目前的开发制定合适的规范)
Design	具体设计	30	60
Coding	具体编码	70	90
Code Review	代码复审	20	20
Test	测试（自我测试，修改代码，提交修改）	-	-
Reporting	报告	-	-
Test Repor	测试报告	-	-
100Size Measurement	计算工作量	5	5
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	10
Total	合计	150	245

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
1	450	450	3.5	3.5	重新用上了vue，算是一次复建吧
2	600	1050	4	7.5	佛系ant design vue玩家
3	500	1550	4.5	12	学习滑轮插件，整理布局
4	100	1650	4	16	整理数据，重构代码结构

周浩东：

• 过去两天完成了哪些任务：

  • 进行数据库转化成RDF三元组

• github签入记录

• 接下来计划：
  • 本体知识推理
  • 进行知识抽取
• 还剩下哪些任务：
  • 知识推理
  • 知识抽取
  • 部署上线
  • 知识融合
• 燃尽图

• 遇到了哪些困难：
  • 本体建模知识多，工具不易读
• 有哪些收获和疑问：
  • 实践了本体建模
• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	20	10
Estimate	估计这个任务需要多少时间	20	20
Development	开发	-	-
Analysis	需求分析 &ppt&(包括学习新技术)	10	10
Design Spec	生成设计文档	-	-
Design Review	设计复审	-	-
Coding Standard	代码规范 (为目前的开发制定合适的规范)
Design	具体设计	10	5
Coding	具体编码	60	30
Code Review	代码复审	30	30
Test	测试（自我测试，修改代码，提交修改）	-	-
Reporting	报告	-	-
Test Repor	测试报告	-	-
100Size Measurement	计算工作量	5	5
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	10
Total	合计	95	100

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时(小时)	重要成长
1	100	100	10	10	学习了知识的表示形式
2	0	100	10	10	学习了知识本体建模
3	0	100	10	10	实践知识本体建模
4	215	315	10	10	MYSQL转化RDF三元组

潘春佳：

• 过去两天完成了哪些任务：

  • 看视频学知识

  • GitHub签入记录：
    

• 接下来计划：
  博客文档编辑、制作UI界面图

• 还剩下哪些任务：
  后期UI设计，ppt报告编写

• 燃尽图

• 遇到了哪些困难：
  考试临近，时间安排困难

• 有哪些收获和疑问：
  布局的深入使用、尝试UI创作

• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	-	-
Estimate	估计这个任务需要多少时间	300	300
Development	开发	-	-
Analysis	需求分析 (包括学习新技术)	180	210
Design Spec	生成设计文档	100	100
Design Review	设计复审	0	0
Coding Standard	代码规范 (为目前的开发制定合适的规范)	0	0
Design	具体设计	0	0
Coding	具体编码	0	0
Code Review	代码复审	0	0
Test	测试（自我测试，修改代码，提交修改）	0	0
Reporting	报告	-	-
Test Report	测试报告	0	0
Size Measurement	计算工作量	0	0
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	0	0
Total	合计	280	310

• 学习进度表

第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
1	0	0	3	3	学习新知识
2	0	0	3	6	看视频学东西
3	50	50	4	10	尝试界面制作
4	63	113	4	14	布局调整

蔡树峰：

• 过去两天完成了哪些任务

  • 撰写博客

  • 组织第四次会议，进行会议记录

  • 看视频学习

  • 展示GitHub当日代码/文档签入记录

    暂无

• 接下来的计划

  • 继续写博客
  • 继续学习

• 还剩下哪些任务

  • 写博客
  • 做视频
  • 学习

• 燃尽图
  

• 遇到了哪些困难

  时间紧，快抑郁了

• 有哪些收获和疑问

  向前看，别放弃

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	10	10
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发	-	-
  · Analysis	· 需求分析 (包括学习新技术)	5	8
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
  · Design	· 具体设计	-	-
  · Coding	· 具体编码	-	-
  · Code Review	· 代码复审	-	-
  · Test	· 测试（自我测试，修改代码，提交修改）	-	-
  Reporting	报告	40	40
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	5	5
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
  	· 合计	70	73

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	0	0	2	2	数据库操作
  2	100	100	1.5	3.5	-
  3	0	100	3	6.5	-
  4	0	100	2	8.5	-

林蒋辉：

• 过去两天完成了哪些任务：

  • solr学习，依赖导入，一些简单的测试使用

• 接下来计划：

  • 实现全文检索和词频统计

• 还剩下哪些任务：

  • 实现全文检索
  • 实现词频统计

• 燃尽图：

• 遇到了哪些困难：

  • 时间精力不足，要应付明后两门考试
  • 检索部分对于字典树生成等算法有要求，需要学习

• 有哪些收获和疑问：

  • 尝试实现一种开发中重要的常用功能

• PSP表格

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	30	30
  Estimate	估计这个任务需要多少时间	10	10
  Development	开发	400	360
  Analysis	需求分析 &ppt&(包括学习新技术)	400	400
  Design Spec	生成设计文档	-	-
  Design Review	设计复审	-	-
  Coding Standard	代码规范 (为目前的开发制定合适的规范)	-	-
  Design	具体设计	-	-
  Coding	具体编码	-	-
  Code Review	代码复审	-	-
  Test	测试（自我测试，修改代码，提交修改）	-	-
  Reporting	报告	10	15
  Test Repor	测试报告	-	-
  100Size Measurement	计算工作量	5	5
  Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	5	10
  Total	合计	860	830

  • 学习进度表

    第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
    1	0	0	6	6	参考了长文本存储的数据库设计，对检索功能的实现有了一定的想法
    2	107	107	1	1
    3	0	0	5	11	了解了一种web开发中一种重要功能的实现
    4	450	557	5	16	学会使用一个新的库

陈宇扬：

• 过去两天完成了哪些任务：

  • 上海市部分文件内容爬取
    

• 接下来计划：

  • 完成上海市人民政府下属部门政策文件的爬取。
  • 协助另一名同学完成数据采集代码更新

• 还剩下哪些任务：

  • 其他省份政策相关获取；
  • 其他省份下属地级市相关政策获取；

• 

• 遇到了哪些困难：

  • 上海市人民政府政策文件库按年份分类，需要分类爬取
  • 网站请求过快网站会断开连接

• 有哪些收获和疑问：

  • 学会了内容详情页筛选信息
  • 如果各省都能做个接口的话，爬取就不用那么麻烦了

• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划
· Estimate	· 估计这个任务需要多少时间	20	15
Development	开发
· Analysis	· 需求分析 (包括学习新技术)	100	130
· Design Spec	· 生成设计文档	-	-
· Design Review	· 设计复审	-	-
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	10	10
· Design	· 具体设计	-	-
· Coding	· 具体编码	100	120
· Code Review	· 代码复审	10	10
· Test	· 测试（自我测试，修改代码，提交修改）	5	5
Reporting	报告
· Test Repor	· 测试报告	-	-
· Size Measurement	· 计算工作量	10	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	10	15
	合计	265	315

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时(小时)	重要成长
1(alpha)	280	280	6.75	6.75	学习了爬虫技术，完成了一些内容的初步爬取。
2(alpha)	200	480	5.41	12.16	完成广东省一部分内容的爬取
3(alpha)	240	720	6.25	18.41	完成大部分广东省政策文件的获取
4(alpha)	110	830	5.25	23.66	更新上海市爬取代码

三、冲刺成果展示

• 展示组内最新成果

  • 完成前端数据大屏页面设计
    

  • 将爬取获得的数据导入数据库
    

• 站立会议合照
  

• 会议耗时记录（每次追加记录）

第N次会议	耗时（分钟）
1	10
2	8
3	10
4	10