5组-Alpha冲刺-6/6

一、基本情况

• 队名：奶茶命运共同体
• 组长博客：https://www.cnblogs.com/pat-chou-li/p/15574710.html
• 小组人数：9

二、冲刺概况汇报

吴振溢：

• 过去两天完成了哪些任务

  • 模拟接口，注入数据。

  • 展示GitHub当日代码/文档签入记录

    

• 接下来的计划

  • 接口接入。

• 还剩下哪些任务

  • 封装axios。
  • 各数据图接口注入。

• 燃尽图

  

• 遇到了哪些困难

  暂无

• 有哪些收获和疑问

  进一步学习了dataV的使用。

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发
  · Analysis	· 需求分析 (包括学习新技术)	-	-
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
  · Design	· 具体设计	-	-
  · Coding	· 具体编码	120	150
  · Code Review	· 代码复审	10	10
  · Test	· 测试（自我测试，修改代码，提交修改）	10	10
  Reporting	报告
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	-	-
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
  	· 合计	150	180

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	168	168	2.5	2.5	完成标题和财政收入排名图
  2	262	430	2	4.5	完成政策总数数字翻牌器
  3	215	645	2	6.5	完成全国高频政策词汇排名动态轮播图
  4	122	767	2	8.5	完成全国热词TOP5动态环图
  5	144	911	2.5	11	完成省份政策热词排名及占比表
  6	105	1016	3	14	模拟接口，注入数据。

黄朝威：

• 过去两天完成了哪些任务

  • 对浙江省接口分析，爬取有效数据并记录数据库

  • 对上海市和广西省接口进行分析，成功爬取有效数据

  • 展示GitHub当日代码/文档签入记录

    

• 接下来的计划

  • 对于前三个省份爬取到的数据尝试推广至所有省份

• 还剩下哪些任务

  • 各种省份及其部门的数据规范爬取。
  • 对应部分省份的不同地级市的数据爬取。

• 燃尽图

  

• 遇到了哪些困难

  浙江省爬取着实给我上了一课，印象非常深刻，以后一定要多写try/except，听我细细描述过来，相同参数请求到的数据并不完全相同，这就意味着我请求下一页数据的时候，如果我能实现重新请求上一页数据可能会获得和原先请求上一页不同的数据，有可能部分数据仅仅出现在某一页需要多次请求才能获得，如果改为不断重新请求同一页数据最大困难是如何界定跳出循环的判断条件，总不能一直请求同一页数据然后死循环了吧。祸不单行，最大的问题是浙江省的请求返回的数据颇为奇怪，抓包返回的json数据据分析都应有content字段及其对应的文本内容，我在每次开始抓取数据前都会进行可行性分析和Bug测试，避免在爬取过程中抛出问题，但是这个测试总是令我异常头疼，总是在爬取十几页甚至百来页的时候给我抛出个异常，这对手动调试来说是异常艰难的，于是调整为输出文件标题，观察出问题的文件根据文件标题进行搜索然后一步步分析，但是编码问题又来了，文件编码与Pycharm控制台编码方式不一致导致抛出的问题更加棘手，于是改为输出到文本中，获得问题文件后进行分析发现通过网页开发者工具展示的数据确确实实存在content及其对应的内容，但是KeyError总是在提醒我这个字段并不存在，分析了许久后通过文件库查询后发现源文件并不存在，于是只能加个额外判断，还有个困难是最近的考试也太集中了。

• 有哪些收获和疑问

  • 又又又进一步加强了Debugger能力，进一步加强了对PyCharm各种工具的使用，以及我的评价是PyCharm的git操作还真方便，准确来说是git图形化操作就便捷，又进一步熟悉了如何通过网页开发者工具获取部分有用信息。
  • 浙江省的数据中直接提供了完整的文本内容这将极大简化了文本分析和过滤的工作。
  • 疑问是浙江返回的政策是随机的，那么使用者在想要获取上一页感兴趣的内容时发现找不到这该如何处理？

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	5	15
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发
  · Analysis	· 需求分析 (包括学习新技术)	20	30
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	30	20
  · Design	· 具体设计	10	60
  · Coding	· 具体编码	100	60
  · Code Review	· 代码复审	10	10
  · Test	· 测试（自我测试，修改代码，提交修改）	10	360
  Reporting	报告
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	5	10
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	10
  	· 合计	200	480

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	325	325	12	12	成功抓取特定的数据，完成对于项目可行性的分析。
  2	132	457	8	20	完善对福建单一省份的数据爬取方式，为后续其它省份提供参考代码将极大简化工作。
  3	298	755	11	31	又对福建省单一省份数据抓取方式进行更新，以及推广至广东省使用。
  4	175	930	8	39	对广东省数据抓取方式不断更新迭代，不断处理存在的异常。
  5	188	1118	5	44	对浙江省抓取中意外通过某种方式直接获得对应文本内容
  6	36	1154	10	54	对浙江省整省完整性爬取，带有时间跨度的数据

周伟杰

• 过去俩天完成了哪些任务

  • 完成了异常的统一处理

  • github签入记录

    

• 接下来的计划

  • 进一步的学习
  • 与前端对接
  • 调试bug

• 还剩下哪些任务

  • 服务器部署上线

• 燃尽图

  

• 遇到哪些困难

  • 不了解服务器如何部署，以及如何和前端对接

• 有哪些收获与疑问

  • 基本了解后端开发流程

• PSP&学习进度条

  • PSP表格

    PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
    Planning	计划	10	10
    Estimate	估计这个任务需要多少时间	10	10
    Development	开发	400	520
    Analysis	需求分析 &ppt&(包括学习新技术)	200	220
    Design Spec	生成设计文档	-	-
    Design Review	设计复审	-	-
    Coding Standard	代码规范 (为目前的开发制定合适的规范)	-	-
    Design	具体设计	20	10
    Coding	具体编码	150	250
    Code Review	代码复审	10	10
    Test	测试（自我测试，修改代码，提交修改）	20	30
    Reporting	报告	10	15
    Test Report	测试报告	-	-
    100Size Measurement	计算工作量	-	-
    Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	15
    Total	合计	420	545

    • 学习进度表

    第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
    1	0	0	6	6	掌握了后端开发基础知识
    2	0	0	5	11	了解了mybatis-plus的使用
    3	500	500	6	17	环境基本搭建
    4	100	600	6	23	接口编写50%
    5	0	600	2	25	学习了springboot的异常处理
    6	500	1100	5	30	学会了springboot的异常统一处理

张乐芃：

• 过去两天完成了哪些任务：

  • 搜索模块

• 接下来计划：

  • 模块交互

• 还剩下哪些任务：

  • api封装
  • 各模块交互
  • 前后端联调
  • 部署上线

• 燃尽图：

• 遇到了哪些困难：
  • vue忘记蛮多知识点，还得慢慢捡起来
• 有哪些收获和疑问：
  • 收获：暂无
  • 疑问：我的考试能帮帮我吗！！！！
• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	20	10
Estimate	估计这个任务需要多少时间	5	10
Development	开发	-	-
Analysis	需求分析 &ppt&(包括学习新技术)	30	40
Design Spec	生成设计文档	-	-
Design Review	设计复审	-	-
Coding Standard	代码规范 (为目前的开发制定合适的规范)
Design	具体设计	30	60
Coding	具体编码	70	60
Code Review	代码复审	20	20
Test	测试（自我测试，修改代码，提交修改）	-	-
Reporting	报告	-	-
Test Repor	测试报告	-	-
100Size Measurement	计算工作量	5	5
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	10
Total	合计	150	215

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
1	450	450	3.5	3.5	重新用上了vue，算是一次复建吧
2	600	1050	4	7.5	佛系ant design vue玩家
3	500	1550	4.5	12	学习滑轮插件，整理布局
4	100	1650	4	16	整理数据，重构代码结构
5	400	2050	4	20	搜索模块
6	300	2350	3.5	23.5	搜素模块剩余

周浩东：

• 过去两天完成了哪些任务：

  • 进行知识抽取

• github签入记录

• 接下来计划：
  • 进行知识抽取
• 还剩下哪些任务：
  • 知识抽取
  • 部署上线
  • 知识融合
• 燃尽图

• 遇到了哪些困难：
  • 知识抽取速度慢
• 有哪些收获和疑问：
  • 进行知识抽取
• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	20	10
Estimate	估计这个任务需要多少时间	20	20
Development	开发	-	-
Analysis	需求分析 &ppt&(包括学习新技术)	10	10
Design Spec	生成设计文档	-	-
Design Review	设计复审	-	-
Coding Standard	代码规范 (为目前的开发制定合适的规范)
Design	具体设计	10	5
Coding	具体编码	60	30
Code Review	代码复审	30	30
Test	测试（自我测试，修改代码，提交修改）	-	-
Reporting	报告	-	-
Test Repor	测试报告	-	-
100Size Measurement	计算工作量	5	5
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	10	10
Total	合计	95	100

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时(小时)	重要成长
1	100	100	10	10	学习了知识的表示形式
2	0	100	10	10	学习了知识本体建模
3	0	100	10	10	实践知识本体建模
4	215	315	10	10	MYSQL转化RDF三元组
5	0	315	10	10	RDF三元组转化为nt格式
6	0	315	10	10	进行知识抽取

潘春佳：
潘春佳

• 过去两天完成了哪些任务：

  • 看视频学知识

  • GitHub签入记录：

• 接下来计划：
  α总结ppt制作

• 还剩下哪些任务：
  后期UI设计，ppt报告编写

• 燃尽图

• 遇到了哪些困难：
  ppt展示内容选择、前端运行环境配置

• 有哪些收获和疑问：
  学会了跑前端

• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	-	-
Estimate	估计这个任务需要多少时间	300	300
Development	开发	-	-
Analysis	需求分析 (包括学习新技术)	200	180
Design Spec	生成设计文档	100	100
Design Review	设计复审	0	0
Coding Standard	代码规范 (为目前的开发制定合适的规范)	0	0
Design	具体设计	0	0
Coding	具体编码	0	0
Code Review	代码复审	0	0
Test	测试（自我测试，修改代码，提交修改）	0	0
Reporting	报告	-	-
Test Report	测试报告	0	0
Size Measurement	计算工作量	0	0
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	0	0
Total	合计	300	20

• 学习进度表

第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
1	0	0	3	3	学习新知识
2	0	0	3	6	看视频学东西
3	50	50	4	10	尝试界面制作
4	63	113	4	14	布局调整
5	0	113	3	17	看视频学知识
6	10	123	5	22	ppt制作、学会一点前端基础

蔡树峰：

• 过去两天完成了哪些任务

  • 撰写博客

  • 组织第六次会议，进行会议记录

  • 展示GitHub当日代码/文档签入记录
    

• 接下来的计划

  • 继续写博客
  • 继续学习

• 还剩下哪些任务

  • 写博客
  • 做视频

• 燃尽图

• 遇到了哪些困难

  暂无

• 有哪些收获和疑问

  尽力做好分配到的任务

• PSP & 学习进度条（学习进度条每周追加）

  PSP：

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	10	10
  · Estimate	· 估计这个任务需要多少时间	5	5
  Development	开发	-	-
  · Analysis	· 需求分析 (包括学习新技术)	10	10
  · Design Spec	· 生成设计文档	-	-
  · Design Review	· 设计复审	-	-
  · Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	-	-
  · Design	· 具体设计	-	-
  · Coding	· 具体编码	-	-
  · Code Review	· 代码复审	-	-
  · Test	· 测试（自我测试，修改代码，提交修改）	-	-
  Reporting	报告	40	40
  · Test Repor	· 测试报告	-	-
  · Size Measurement	· 计算工作量	5	5
  · Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	5	5
  	· 合计	75	75

  学习进度表：

  第N次	新增代码（行）	累计代码（行）	本次学习耗时（小时）	累计学习耗时（小时）	重要成长
  1	0	0	2	2	数据库操作
  2	100	100	1.5	3.5	-
  3	0	100	3	6.5	-
  4	0	100	2	8.5	-
  5	120	220	3	11.5	-
  6	80	300	3.5	15	-

林蒋辉：

• 过去两天完成了哪些任务：

  • solr环境搭建
  • 热点词汇，词频统计部分实现
  • elastic search环境搭建，配置，学习，测试使用
  • github签入记录

  

• 接下来计划：

  • 实现热点词汇，词频统计功能

• 还剩下哪些任务：

  • 完成热点词汇，词频统计接口

• 燃尽图：

• 遇到了哪些困难：

  • 陌生的框架，需要学习使用

• 有哪些收获和疑问：

  • 环境搭建时种种报错，尝试各种解决方案耗费大量时间

• PSP表格

  PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
  Planning	计划	30	30
  Estimate	估计这个任务需要多少时间	10	10
  Development	开发	400	360
  Analysis	需求分析 &ppt&(包括学习新技术)	400	400
  Design Spec	生成设计文档	-	-
  Design Review	设计复审	-	-
  Coding Standard	代码规范 (为目前的开发制定合适的规范)	-	-
  Design	具体设计	-	-
  Coding	具体编码	-	-
  Code Review	代码复审	-	-
  Test	测试（自我测试，修改代码，提交修改）	-	-
  Reporting	报告	10	15
  Test Repor	测试报告	-	-
  100Size Measurement	计算工作量	5	5
  Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	5	10
  Total	合计	860	830

  • 学习进度表

    第N轮次	新增代码（行）	累计代码（行）	本次学习耗时(小时)	累计学习耗时(小时)	重要成长
    1	0	0	6	6	参考了长文本存储的数据库设计，对检索功能的实现有了一定的想法
    2	107	107	1	1
    3	0	0	5	11	了解了一种web开发中一种重要功能的实现
    4	450	557	5	16	学会使用一个新的框架
    5	100	657	2	18	学会使用一个新的框架
    6	600	1257	10	28	框架使用，分布式搜索引擎学习

陈宇扬：

• 过去两天完成了哪些任务：

  • 政策对接数据库
    

• 接下来计划：

  • 完成目前正在爬取的省份政策文件的获取。

• 还剩下哪些任务：

  • 其他省份政策相关获取；
  • 其他省份下属地级市相关政策获取；

• 遇到了哪些困难：

  • 浙江省用相同参数请求获得的数据并不完全相同
  • 对接数据库时由于起初没有协调好，爬取的数据格式需要稍作修改

• 有哪些收获和疑问：

  • 浙江省政策数据库直接提供了完整的政策文件内容，极其方便

• PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划
· Estimate	· 估计这个任务需要多少时间	20	15
Development	开发
· Analysis	· 需求分析 (包括学习新技术)	180	210
· Design Spec	· 生成设计文档	-	-
· Design Review	· 设计复审	-	-
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	10	10
· Design	· 具体设计	-	-
· Coding	· 具体编码	200	240
· Code Review	· 代码复审	10	10
· Test	· 测试（自我测试，修改代码，提交修改）	5	5
Reporting	报告
· Test Repor	· 测试报告	-	-
· Size Measurement	· 计算工作量	10	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	10	15
	合计	445	515

• 学习进度表

第N轮次	新增代码（行）	累计代码（行）	本周学习耗时(小时)	累计学习耗时(小时)	重要成长
1(alpha)	280	280	6.75	6.75	学习了爬虫技术，完成了一些内容的初步爬取。
2(alpha)	200	480	5.41	12.16	完成广东省一部分内容的爬取
3(alpha)	240	720	6.25	18.41	完成大部分广东省政策文件的获取
4(alpha)	110	830	5.25	23.66	更新上海市爬取代码
5(alpha)	180	1010	5.08	28.74	更新数据格式
6(alpha)	380	1390	8.58	37.32	更新数据格式，对接数据库

三、冲刺成果展示

• 展示组内最新成果

  • 知识图谱三元组载入Apache Jena Fuseki，进行知识推理以及三元组数据接口返回
    
  • 后端政策活跃度接口实现
    

• 站立会议合照
  

• 会议耗时记录（每次追加记录）

第N次会议	耗时（分钟）
1	10
2	8
3	10
4	10
5	10
6	12