5组-Alpha冲刺-5/6

一、基本情况

队名：奶茶命运共同体

组长博客：https://www.cnblogs.com/pat-chou-li/p/15563768.html

小组人数：9

二、冲刺概况汇报

吴振溢：

• 过去两天完成了哪些任务

  • 省份政策热词排名及占比表组件封装。

  • 展示GitHub当日代码/文档签入记录

    

• 接下来的计划

  • 模拟接口注入数据。

• 还剩下哪些任务

  • 接口接入

• 燃尽图

  

• 遇到了哪些困难

  dataV自带chart数据结构冗余复杂

• 有哪些收获和疑问

  进一步学习了dataV的使用。

  抽象数据结构并封装

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发
  · Analysis	· 需求分析 (包括学习新技术)	-	-
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
  · Design	· 具体设计	-	-
  · Coding	· 具体编码	120	80
  · Code Review	· 代码复审	10	10
  · Test	· 测试（自我测试，修改代码，提交修改）	10	10
  Reporting	报告
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	-	-
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
  	· 合计	150	110

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	168	168	2.5	2.5	完成标题和财政收入排名图
  2	262	430	2	4.5	完成政策总数数字翻牌器
  3	215	645	2	6.5	完成全国高频政策词汇排名动态轮播图
  4	122	767	2	8.5	完成全国热词TOP5动态环图
  5	144	911	2.5	11	完成省份政策热词排名及占比表

黄朝威：

• 过去两天完成了哪些任务

  • 对浙江省接口的重新分析，整合有效参数尝试爬取有效数据

  • 对上海市接口的分析，尝试爬取有效数据以及

  • 展示GitHub当日代码/文档签入记录

    

• 接下来的计划

  • 对于浙江省爬取中获得的经验推广至剩余省份

• 还剩下哪些任务

  • 各种省份及其部门的数据规范爬取。
  • 对应部分省份的不同地级市的数据爬取。

• 燃尽图

  

• 遇到了哪些困难

  浙江省的爬取又给我上了一堂课，之前是爬取过所有的数据，经过分析之前的爬取结果后发现数据缺失了非常多，后来对每次爬取相同页数发现一个问题，尽管爬取参数一致，但返回的数据不完全一致，经过不断调整参数和删除无用头后确认应该就是返回不同数据，部分重复数据可能在不同请求中复现，这将导致重复数据抓取，而原先的请求可能又有不同的数据，这使得要获得完整性数据将有挑战性。

• 有哪些收获和疑问

  • 又又又进一步加强了Debugger能力，进一步加强了对PyCharm各种工具的使用，以及我的评价是PyCharm的git操作还真方便，准确来说是git图形化操作就便捷，又进一步熟悉了如何通过网页开发者工具获取部分有用信息，了解基本逆向JS和基本的参数。
  • 在尝试更改参数中无意触发返回数据带有完整文本内容，先前爬取的数据均不带有完整文本内容，需要跳转页面重新对文本内容进行分析，这将过滤和筛选部分重复文本内容较为麻烦，但浙江的部分参数提供了我参考的方向。
  • 疑问在于浙江请求的设计，相同参数情况下返回内容不一致，对于访问者可能会疑问到为什么政策更新速度这么快？

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	5	15
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发
  · Analysis	· 需求分析 (包括学习新技术)	20	30
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	30	20
  · Design	· 具体设计	10	60
  · Coding	· 具体编码	100	60
  · Code Review	· 代码复审	10	10
  · Test	· 测试（自我测试，修改代码，提交修改）	10	50
  Reporting	报告
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	5	10
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	10
  	· 合计	200	270

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	325	325	12	12	成功抓取特定的数据，完成对于项目可行性的分析。
  2	132	457	8	20	完善对福建单一省份的数据爬取方式，为后续其它省份提供参考代码将极大简化工作。
  3	298	755	11	31	又对福建省单一省份数据抓取方式进行更新，以及推广至广东省使用。
  4	175	930	8	39	对广东省数据抓取方式不断更新迭代，不断处理存在的异常。
  5	188	1118	5	44	对浙江省抓取中意外通过某种方式直接获得对应文本内容

周伟杰

• 过去俩天完成了哪些任务

  • 学习了异常的统一处理
  • 暂无github签入记录

• 接下来的计划

  • 进一步的学习

• 还剩下哪些任务

  • 完成返还省份活跃度排名的接口
  • 服务器部署上线

• 燃尽图

  

• 遇到哪些困难

  • 这周考俩门，要寄了

• 有哪些收获与疑问

  • 基本了解后端开发流程

• PSP&学习进度条

  • PSP表格

    PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
    Planning	计划	10	10
    Estimate	估计这个任务需要多少时间	10	10
    Development	开发	200	220
    Analysis	需求分析 &ppt&(包括学习新技术)	200	220
    Design Spec	生成设计文档	-	-
    Design Review	设计复审	-	-
    Coding Standard	代码规范 (为目前的开发制定合适的规范)	-	-
    Design	具体设计	-	-
    Coding	具体编码	-	-
    Code Review	代码复审	-	-
    Test	测试（自我测试，修改代码，提交修改）	-	-
    Reporting	报告	10	15
    Test Report	测试报告	-	-
    100Size Measurement	计算工作量	-	-
    Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	15
    Total	合计	220	245

    • 学习进度表

    第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
    1	0	0	6	6	掌握了后端开发基础知识
    2	0	0	5	11	了解了mybatis-plus的使用
    3	500	500	6	17	环境基本搭建
    4	100	600	6	23	接口编写50%
    5	0	600	2	2	学习了springboot的异常处理

张乐芃：

• 过去两天完成了哪些任务：

  • 搜索模块（90%）

  

• 接下来计划：

  • 搜索模块剩余

• 还剩下哪些任务：

  • api封装
  • 各模块交互
  • 前后端联调
  • 部署上线

• 燃尽图：

• 遇到了哪些困难：
  • 好多考试，时间分配不过来
• 有哪些收获和疑问：
  • 收获：emmm普普通通加深了开发印象
  • 疑问：我的考试能帮帮我吗
• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	20	10
Estimate	估计这个任务需要多少时间	5	10
Development	开发	-	-
Analysis	需求分析 &ppt&(包括学习新技术)	30	40
Design Spec	生成设计文档	-	-
Design Review	设计复审	-	-
Coding Standard	代码规范 (为目前的开发制定合适的规范)
Design	具体设计	30	60
Coding	具体编码	70	90
Code Review	代码复审	20	20
Test	测试（自我测试，修改代码，提交修改）	-	-
Reporting	报告	-	-
Test Repor	测试报告	-	-
100Size Measurement	计算工作量	5	5
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	10
Total	合计	150	245

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
1	450	450	3.5	3.5	重新用上了vue，算是一次复建吧
2	600	1050	4	7.5	佛系ant design vue玩家
3	500	1550	4.5	12	学习滑轮插件，整理布局
4	100	1650	4	16	整理数据，重构代码结构
5	400	2050	4	20	搜索模块

周浩东：

• 过去两天完成了哪些任务：

  • RDF三元组转化

• github签入记录

• 接下来计划：
  • 本体知识推理
  • 进行知识抽取
• 还剩下哪些任务：
  • 知识推理
  • 知识抽取
  • 部署上线
  • 知识融合
• 燃尽图

• 遇到了哪些困难：
  • 本体建模知识多，工具不易读
• 有哪些收获和疑问：
  • RDF三元组转化为nt格式
• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	20	10
Estimate	估计这个任务需要多少时间	20	20
Development	开发	-	-
Analysis	需求分析 &ppt&(包括学习新技术)	10	10
Design Spec	生成设计文档	-	-
Design Review	设计复审	-	-
Coding Standard	代码规范 (为目前的开发制定合适的规范)
Design	具体设计	10	5
Coding	具体编码	60	30
Code Review	代码复审	30	30
Test	测试（自我测试，修改代码，提交修改）	-	-
Reporting	报告	-	-
Test Repor	测试报告	-	-
100Size Measurement	计算工作量	5	5
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	10
Total	合计	95	100

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时(小时)	重要成长
1	100	100	10	10	学习了知识的表示形式
2	0	100	10	10	学习了知识本体建模
3	0	100	10	10	实践知识本体建模
4	215	315	10	10	MYSQL转化RDF三元组
5	0	315	10	10	RDF三元组转化为nt格式

潘春佳：

• 过去两天完成了哪些任务：

  • 看视频学知识

  • GitHub签入记录：
    

• 接下来计划：
  博客文档编辑、制作UI界面图

• 还剩下哪些任务：
  后期UI设计，ppt报告编写

• 燃尽图
  

• 遇到了哪些困难：
  考试临近，时间安排困难

• 有哪些收获和疑问：
  学会了Button和Textview的用法

• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	-	-
Estimate	估计这个任务需要多少时间	300	300
Development	开发	-	-
Analysis	需求分析 (包括学习新技术)	180	200
Design Spec	生成设计文档	100	100
Design Review	设计复审	0	0
Coding Standard	代码规范 (为目前的开发制定合适的规范)	0	0
Design	具体设计	0	0
Coding	具体编码	0	0
Code Review	代码复审	0	0
Test	测试（自我测试，修改代码，提交修改）	0	0
Reporting	报告	-	-
Test Report	测试报告	0	0
Size Measurement	计算工作量	0	0
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	0	0
Total	合计	280	300

• 学习进度表

第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
1	0	0	3	3	学习新知识
2	0	0	3	6	看视频学东西
3	50	50	4	10	尝试界面制作
4	63	113	4	14	布局调整
5	0	113	3	17	看视频学知识

蔡树峰：

• 过去两天完成了哪些任务

  • 撰写博客

  • 组织第五次会议，进行会议记录

  • 展示GitHub当日代码/文档签入记录

• 接下来的计划

  • 继续写博客
  • 在实践中继续学习

• 还剩下哪些任务

  • 写博客
  • 做视频

• 燃尽图

• 遇到了哪些困难

  过去两天两场考试。

• 有哪些收获和疑问

  学习springboot框架

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	10	10
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发	40	60
  · Analysis	· 需求分析 (包括学习新技术)	10	10
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
  · Design	· 具体设计	-	-
  · Coding	· 具体编码	-	-
  · Code Review	· 代码复审	-	-
  · Test	· 测试（自我测试，修改代码，提交修改）	-	-
  Reporting	报告	40	40
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	5	5
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
  	· 合计	115	135

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	0	0	2	2	数据库操作
  2	100	100	1.5	3.5	-
  3	0	100	3	6.5	-
  4	0	100	2	8.5	-
  5	120	220	3	11.5	-

林蒋辉：

• 过去两天完成了哪些任务：

  • 安装，配置，测试solr
  • github签入记录

• 通过solr实现热点词汇功能

• 还剩下哪些任务：

  • 通过solr完成热点词汇接口

• 燃尽图：

• 遇到了哪些困难：

  • 陌生的框架，需要摸索

• 有哪些收获和疑问：

  • 尝试实现一种开发中重要的常用功能

• PSP表格

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	30	30
  Estimate	估计这个任务需要多少时间	10	10
  Development	开发	400	360
  Analysis	需求分析 &ppt&(包括学习新技术)	400	400
  Design Spec	生成设计文档	-	-
  Design Review	设计复审	-	-
  Coding Standard	代码规范 (为目前的开发制定合适的规范)	-	-
  Design	具体设计	-	-
  Coding	具体编码	-	-
  Code Review	代码复审	-	-
  Test	测试（自我测试，修改代码，提交修改）	-	-
  Reporting	报告	10	15
  Test Repor	测试报告	-	-
  100Size Measurement	计算工作量	5	5
  Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	5	10
  Total	合计	860	830

  • 学习进度表

    第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
    1	0	0	6	6	参考了长文本存储的数据库设计，对检索功能的实现有了一定的想法
    2	107	107	1	1
    3	0	0	5	11	了解了一种web开发中一种重要功能的实现
    4	450	557	5	16	学会使用一个新的框架
    5	100	100	2	18	学会使用一个新的框架

陈宇扬：

• 过去两天完成了哪些任务：

  • 更新已爬取信息的数据格式
    

• 接下来计划：

  • 完成目前正在爬取的省份政策文件的获取。

• 还剩下哪些任务：

  • 其他省份政策相关获取；
  • 其他省份下属地级市相关政策获取；

• 遇到了哪些困难：

  • 对接数据库时发现自己爬取的数据有一些出现了乱码
  • 同样，对政府网站请求过快网站会断开连接，导致在一段时间内没有爬到信息

• 有哪些收获和疑问：

  • 重新爬取了某些政策文件库，更新爬取代码
  • 设置sleep时间，来控制对url的访问间隔，可以减少被主动断开连接的可能

• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划
· Estimate	· 估计这个任务需要多少时间	20	15
Development	开发
· Analysis	· 需求分析 (包括学习新技术)	100	120
· Design Spec	· 生成设计文档	-	-
· Design Review	· 设计复审	-	-
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	10	10
· Design	· 具体设计	-	-
· Coding	· 具体编码	100	120
· Code Review	· 代码复审	10	10
· Test	· 测试（自我测试，修改代码，提交修改）	5	5
Reporting	报告
· Test Repor	· 测试报告	-	-
· Size Measurement	· 计算工作量	10	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	10	15
	合计	265	305

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时(小时)	重要成长
1(alpha)	280	280	6.75	6.75	学习了爬虫技术，完成了一些内容的初步爬取。
2(alpha)	200	480	5.41	12.16	完成广东省一部分内容的爬取
3(alpha)	240	720	6.25	18.41	完成大部分广东省政策文件的获取
4(alpha)	110	830	5.25	23.66	更新上海市爬取代码
5(alpha)	180	1010	5.08	28.74	更新数据格式

三、冲刺成果展示

• 展示组内最新成果

  • 爬取广东省和福建省的数据并导入数据库
    

• 站立会议合照
  

• 会议耗时记录（每次追加记录）

第N次会议	耗时（分钟）
1	10
2	8
3	10
4	10
5	10