5组-Alpha冲刺-6/6

一、基本情况

二、冲刺概况汇报

吴振溢：

  • 过去两天完成了哪些任务

    • 模拟接口，注入数据。

    • 展示GitHub当日代码/文档签入记录

  • 接下来的计划

    • 接口接入。

  • 还剩下哪些任务

    • 封装axios。
    • 各数据图接口注入。

  • 燃尽图

  • 遇到了哪些困难

    暂无

  • 有哪些收获和疑问

    进一步学习了dataV的使用。

  • PSP & 学习进度条（学习进度条每周追加）

    PSP：

    PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
    Planning 计划
    · Estimate · 估计这个任务需要多少时间 5 5
    Development 开发
    · Analysis · 需求分析 (包括学习新技术) - -
    · Design Spec · 生成设计文档 - -
    · Design Review · 设计复审 - -
    · Coding Standard · 代码规范 (为目前的开发制定合适的规范) - -
    · Design · 具体设计 - -
    · Coding · 具体编码 120 150
    · Code Review · 代码复审 10 10
    · Test · 测试（自我测试，修改代码，提交修改） 10 10
    Reporting 报告
    · Test Repor · 测试报告 - -
    · Size Measurement · 计算工作量 - -
    · Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 5 5
    · 合计 150 180

    学习进度表：

    第N次 新增代码（行） 累计代码（行） 本次学习耗时（小时） 累计学习耗时（小时） 重要成长
    1 168 168 2.5 2.5 完成标题和财政收入排名图
    2 262 430 2 4.5 完成政策总数数字翻牌器
    3 215 645 2 6.5 完成全国高频政策词汇排名动态轮播图
    4 122 767 2 8.5 完成全国热词TOP5动态环图
    5 144 911 2.5 11 完成省份政策热词排名及占比表
    6 105 1016 3 14 模拟接口，注入数据。

黄朝威：

  • 过去两天完成了哪些任务

    • 对浙江省接口分析，爬取有效数据并记录数据库

    • 对上海市和广西省接口进行分析，成功爬取有效数据

    • 展示GitHub当日代码/文档签入记录

  • 接下来的计划

    • 对于前三个省份爬取到的数据尝试推广至所有省份

  • 还剩下哪些任务

    • 各种省份及其部门的数据规范爬取。
    • 对应部分省份的不同地级市的数据爬取。

  • 燃尽图

  • 遇到了哪些困难

    浙江省爬取着实给我上了一课，印象非常深刻，以后一定要多写try/except，听我细细描述过来，相同参数请求到的数据并不完全相同，这就意味着我请求下一页数据的时候，如果我能实现重新请求上一页数据可能会获得和原先请求上一页不同的数据，有可能部分数据仅仅出现在某一页需要多次请求才能获得，如果改为不断重新请求同一页数据最大困难是如何界定跳出循环的判断条件，总不能一直请求同一页数据然后死循环了吧。祸不单行，最大的问题是浙江省的请求返回的数据颇为奇怪，抓包返回的json数据据分析都应有content字段及其对应的文本内容，我在每次开始抓取数据前都会进行可行性分析和Bug测试，避免在爬取过程中抛出问题，但是这个测试总是令我异常头疼，总是在爬取十几页甚至百来页的时候给我抛出个异常，这对手动调试来说是异常艰难的，于是调整为输出文件标题，观察出问题的文件根据文件标题进行搜索然后一步步分析，但是编码问题又来了，文件编码与Pycharm控制台编码方式不一致导致抛出的问题更加棘手，于是改为输出到文本中，获得问题文件后进行分析发现通过网页开发者工具展示的数据确确实实存在content及其对应的内容，但是KeyError总是在提醒我这个字段并不存在，分析了许久后通过文件库查询后发现源文件并不存在，于是只能加个额外判断，还有个困难是最近的考试也太集中了。

  • 有哪些收获和疑问

    • 又又又进一步加强了Debugger能力，进一步加强了对PyCharm各种工具的使用，以及我的评价是PyCharm的git操作还真方便，准确来说是git图形化操作就便捷，又进一步熟悉了如何通过网页开发者工具获取部分有用信息。
    • 浙江省的数据中直接提供了完整的文本内容这将极大简化了文本分析和过滤的工作。
    • 疑问是浙江返回的政策是随机的，那么使用者在想要获取上一页感兴趣的内容时发现找不到这该如何处理？

  • PSP & 学习进度条（学习进度条每周追加）

    PSP：

    PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
    Planning 计划 5 15
    · Estimate · 估计这个任务需要多少时间 5 5
    Development 开发
    · Analysis · 需求分析 (包括学习新技术) 20 30
    · Design Spec · 生成设计文档 - -
    · Design Review · 设计复审 - -
    · Coding Standard · 代码规范 (为目前的开发制定合适的规范) 30 20
    · Design · 具体设计 10 60
    · Coding · 具体编码 100 60
    · Code Review · 代码复审 10 10
    · Test · 测试（自我测试，修改代码，提交修改） 10 360
    Reporting 报告
    · Test Repor · 测试报告 - -
    · Size Measurement · 计算工作量 5 10
    · Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 5 10
    · 合计 200 480

    学习进度表：

    第N次 新增代码（行） 累计代码（行） 本次学习耗时（小时） 累计学习耗时（小时） 重要成长
    1 325 325 12 12 成功抓取特定的数据，完成对于项目可行性的分析。
    2 132 457 8 20 完善对福建单一省份的数据爬取方式，为后续其它省份提供参考代码将极大简化工作。
    3 298 755 11 31 又对福建省单一省份数据抓取方式进行更新，以及推广至广东省使用。
    4 175 930 8 39 对广东省数据抓取方式不断更新迭代，不断处理存在的异常。
    5 188 1118 5 44 对浙江省抓取中意外通过某种方式直接获得对应文本内容
    6 36 1154 10 54 对浙江省整省完整性爬取，带有时间跨度的数据

周伟杰

  • 过去俩天完成了哪些任务

    • 完成了异常的统一处理

    • github签入记录

  • 接下来的计划

    • 进一步的学习
    • 与前端对接
    • 调试bug

  • 还剩下哪些任务

    • 服务器部署上线

  • 燃尽图

  • 遇到哪些困难

    • 不了解服务器如何部署，以及如何和前端对接

  • 有哪些收获与疑问

    • 基本了解后端开发流程

  • PSP&学习进度条

    • PSP表格

      PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
      Planning 计划 10 10
      Estimate 估计这个任务需要多少时间 10 10
      Development 开发 400 520
      Analysis 需求分析 &ppt&(包括学习新技术) 200 220
      Design Spec 生成设计文档 - -
      Design Review 设计复审 - -
      Coding Standard 代码规范 (为目前的开发制定合适的规范) - -
      Design 具体设计 20 10
      Coding 具体编码 150 250
      Code Review 代码复审 10 10
      Test 测试（自我测试，修改代码，提交修改） 20 30
      Reporting 报告 10 15
      Test Report 测试报告 - -
      100Size Measurement 计算工作量 - -
      Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 10 15
      Total 合计 420 545
      • 学习进度表
      第N轮次 新增代码（行） 累计代码（行） 本次学习耗时(小时) 累计学习耗时(小时) 重要成长
      1 0 0 6 6 掌握了后端开发基础知识
      2 0 0 5 11 了解了mybatis-plus的使用
      3 500 500 6 17 环境基本搭建
      4 100 600 6 23 接口编写50%
      5 0 600 2 25 学习了springboot的异常处理
      6 500 1100 5 30 学会了springboot的异常统一处理

张乐芃：

  • 过去两天完成了哪些任务：

    • 搜索模块

  • 接下来计划：

    • 模块交互

  • 还剩下哪些任务：

    • api封装
    • 各模块交互
    • 前后端联调
    • 部署上线

  • 燃尽图：

  • 遇到了哪些困难：
    • vue忘记蛮多知识点，还得慢慢捡起来
  • 有哪些收获和疑问：
    • 收获：暂无
    • 疑问：我的考试能帮帮我吗！！！！
  • PSP表格
PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划 20 10
Estimate 估计这个任务需要多少时间 5 10
Development 开发 - -
Analysis 需求分析 &ppt&(包括学习新技术) 30 40
Design Spec 生成设计文档 - -
Design Review 设计复审 - -
Coding Standard 代码规范 (为目前的开发制定合适的规范)
Design 具体设计 30 60
Coding 具体编码 70 60
Code Review 代码复审 20 20
Test 测试（自我测试，修改代码，提交修改） - -
Reporting 报告 - -
Test Repor 测试报告 - -
100Size Measurement 计算工作量 5 5
Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 10 10
Total 合计 150 215
  • 学习进度表
第N轮次 新增代码（行） 累计代码（行） 本次学习耗时(小时) 累计学习耗时(小时) 重要成长
1 450 450 3.5 3.5 重新用上了vue，算是一次复建吧
2 600 1050 4 7.5 佛系ant design vue玩家
3 500 1550 4.5 12 学习滑轮插件，整理布局
4 100 1650 4 16 整理数据，重构代码结构
5 400 2050 4 20 搜索模块
6 300 2350 3.5 23.5 搜素模块剩余

周浩东：

  • 过去两天完成了哪些任务：

    • 进行知识抽取

  • github签入记录

  • 接下来计划：
    • 进行知识抽取
  • 还剩下哪些任务：
    • 知识抽取
    • 部署上线
    • 知识融合
  • 燃尽图

  • 遇到了哪些困难：
    • 知识抽取速度慢
  • 有哪些收获和疑问：
    • 进行知识抽取
  • PSP表格
PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划 20 10
Estimate 估计这个任务需要多少时间 20 20
Development 开发 - -
Analysis 需求分析 &ppt&(包括学习新技术) 10 10
Design Spec 生成设计文档 - -
Design Review 设计复审 - -
Coding Standard 代码规范 (为目前的开发制定合适的规范)
Design 具体设计 10 5
Coding 具体编码 60 30
Code Review 代码复审 30 30
Test 测试（自我测试，修改代码，提交修改） - -
Reporting 报告 - -
Test Repor 测试报告 - -
100Size Measurement 计算工作量 5 5
Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 10 10
Total 合计 95 100
  • 学习进度表
第N轮次 新增代码（行） 累计代码（行） 本周学习耗时(小时) 累计学习耗时(小时) 重要成长
1 100 100 10 10 学习了知识的表示形式
2 0 100 10 10 学习了知识本体建模
3 0 100 10 10 实践知识本体建模
4 215 315 10 10 MYSQL转化RDF三元组
5 0 315 10 10 RDF三元组转化为nt格式
6 0 315 10 10 进行知识抽取

潘春佳：
潘春佳

  • 过去两天完成了哪些任务：

    • 看视频学知识

    • GitHub签入记录：

  • 接下来计划：
    α总结ppt制作

  • 还剩下哪些任务：
    后期UI设计，ppt报告编写

  • 燃尽图

  • 遇到了哪些困难：
    ppt展示内容选择、前端运行环境配置

  • 有哪些收获和疑问：
    学会了跑前端

  • PSP表格

PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划 - -
Estimate 估计这个任务需要多少时间 300 300
Development 开发 - -
Analysis 需求分析 (包括学习新技术) 200 180
Design Spec 生成设计文档 100 100
Design Review 设计复审 0 0
Coding Standard 代码规范 (为目前的开发制定合适的规范) 0 0
Design 具体设计 0 0
Coding 具体编码 0 0
Code Review 代码复审 0 0
Test 测试（自我测试，修改代码，提交修改） 0 0
Reporting 报告 - -
Test Report 测试报告 0 0
Size Measurement 计算工作量 0 0
Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 0 0
Total 合计 300 20
  • 学习进度表
第N次 新增代码（行） 累计代码（行） 本次学习耗时（小时） 累计学习耗时（小时） 重要成长
1 0 0 3 3 学习新知识
2 0 0 3 6 看视频学东西
3 50 50 4 10 尝试界面制作
4 63 113 4 14 布局调整
5 0 113 3 17 看视频学知识
6 10 123 5 22 ppt制作、学会一点前端基础

蔡树峰：

  • 过去两天完成了哪些任务

    • 撰写博客

    • 组织第六次会议，进行会议记录

    • 展示GitHub当日代码/文档签入记录

  • 接下来的计划

    • 继续写博客
    • 继续学习

  • 还剩下哪些任务

    • 写博客
    • 做视频

  • 燃尽图

  • 遇到了哪些困难

    暂无

  • 有哪些收获和疑问

    尽力做好分配到的任务

  • PSP & 学习进度条（学习进度条每周追加）

    PSP：

    PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
    Planning 计划 10 10
    · Estimate · 估计这个任务需要多少时间 5 5
    Development 开发 - -
    · Analysis · 需求分析 (包括学习新技术) 10 10
    · Design Spec · 生成设计文档 - -
    · Design Review · 设计复审 - -
    · Coding Standard · 代码规范 (为目前的开发制定合适的规范) - -
    · Design · 具体设计 - -
    · Coding · 具体编码 - -
    · Code Review · 代码复审 - -
    · Test · 测试（自我测试，修改代码，提交修改） - -
    Reporting 报告 40 40
    · Test Repor · 测试报告 - -
    · Size Measurement · 计算工作量 5 5
    · Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 5 5
    · 合计 75 75

    学习进度表：

    第N次 新增代码（行） 累计代码（行） 本次学习耗时（小时） 累计学习耗时（小时） 重要成长
    1 0 0 2 2 数据库操作
    2 100 100 1.5 3.5 -
    3 0 100 3 6.5 -
    4 0 100 2 8.5 -
    5 120 220 3 11.5 -
    6 80 300 3.5 15 -

林蒋辉：

  • 过去两天完成了哪些任务：

    • solr环境搭建
    • 热点词汇，词频统计部分实现
    • elastic search环境搭建，配置，学习，测试使用
    • github签入记录

    6-4-TS38-CF-RL-KMF-FGR.png

  • 接下来计划：

    • 实现热点词汇，词频统计功能

  • 还剩下哪些任务：

    • 完成热点词汇，词频统计接口

  • 燃尽图：

img

  • 遇到了哪些困难：

    • 陌生的框架，需要学习使用

  • 有哪些收获和疑问：

    • 环境搭建时种种报错，尝试各种解决方案耗费大量时间

  • PSP表格

    PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
    Planning 计划 30 30
    Estimate 估计这个任务需要多少时间 10 10
    Development 开发 400 360
    Analysis 需求分析 &ppt&(包括学习新技术) 400 400
    Design Spec 生成设计文档 - -
    Design Review 设计复审 - -
    Coding Standard 代码规范 (为目前的开发制定合适的规范) - -
    Design 具体设计 - -
    Coding 具体编码 - -
    Code Review 代码复审 - -
    Test 测试（自我测试，修改代码，提交修改） - -
    Reporting 报告 10 15
    Test Repor 测试报告 - -
    100Size Measurement 计算工作量 5 5
    Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 5 10
    Total 合计 860 830

    • 学习进度表

      第N轮次 新增代码（行） 累计代码（行） 本次学习耗时(小时) 累计学习耗时(小时) 重要成长
      1 0 0 6 6 参考了长文本存储的数据库设计，对检索功能的实现有了一定的想法
      2 107 107 1 1
      3 0 0 5 11 了解了一种web开发中一种重要功能的实现
      4 450 557 5 16 学会使用一个新的框架
      5 100 657 2 18 学会使用一个新的框架
      6 600 1257 10 28 框架使用，分布式搜索引擎学习

陈宇扬：

  • 过去两天完成了哪些任务：

    • 政策对接数据库
      image

  • 接下来计划：

    • 完成目前正在爬取的省份政策文件的获取。

  • 还剩下哪些任务：

    • 其他省份政策相关获取；
    • 其他省份下属地级市相关政策获取；

image

  • 遇到了哪些困难：

    • 浙江省用相同参数请求获得的数据并不完全相同
    • 对接数据库时由于起初没有协调好，爬取的数据格式需要稍作修改

  • 有哪些收获和疑问：

    • 浙江省政策数据库直接提供了完整的政策文件内容，极其方便

  • PSP表格

PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划
· Estimate · 估计这个任务需要多少时间 20 15
Development 开发
· Analysis · 需求分析 (包括学习新技术) 180 210
· Design Spec · 生成设计文档 - -
· Design Review · 设计复审 - -
· Coding Standard · 代码规范 (为目前的开发制定合适的规范) 10 10
· Design · 具体设计 - -
· Coding · 具体编码 200 240
· Code Review · 代码复审 10 10
· Test · 测试（自我测试，修改代码，提交修改） 5 5
Reporting 报告
· Test Repor · 测试报告 - -
· Size Measurement · 计算工作量 10 10
· Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 10 15
合计 445 515
  • 学习进度表
第N轮次 新增代码（行） 累计代码（行） 本周学习耗时(小时) 累计学习耗时(小时) 重要成长
1(alpha) 280 280 6.75 6.75 学习了爬虫技术，完成了一些内容的初步爬取。
2(alpha) 200 480 5.41 12.16 完成广东省一部分内容的爬取
3(alpha) 240 720 6.25 18.41 完成大部分广东省政策文件的获取
4(alpha) 110 830 5.25 23.66 更新上海市爬取代码
5(alpha) 180 1010 5.08 28.74 更新数据格式
6(alpha) 380 1390 8.58 37.32 更新数据格式，对接数据库

三、冲刺成果展示

  • 展示组内最新成果

    • 知识图谱三元组载入Apache Jena Fuseki，进行知识推理以及三元组数据接口返回
    • 后端政策活跃度接口实现

  • 站立会议合照

  • 会议耗时记录（每次追加记录）

第N次会议 耗时（分钟）
1 10
2 8
3 10
4 10
5 10
6 12
posted @ 2021-11-18 22:04  Pekkanight  阅读(23)  评论(0)  编辑  收藏  举报