作业要求 | https://edu.cnblogs.com/campus/fzzcxy/2018SE2/homework/11248 |
---|---|
作业目标 | 熟悉和编写爬虫的代码 |
作业源代码 | https://gitee.com/mjjyjq/pair |
队员1 | 211803124 |
队员2 | 211809172 |
结对过程
这一次的结对过程中,我们产生了不一样的意见然后进行统一讨论花了不少时间,但是代码的质量高于一个人。邱晴在思考的时候是什么投入的,也非常需要一个安静的环境,这是一个挺好的习惯,在思考的时候就应该投入思考。由于宿舍距离很远,两个人在讨论代码的时候可谓是历经千辛万苦。
代码概况
我们的代码一共大概210行,花了大约一天的时间完成了它,大约花了1个多小时进行了需求分析,然后就是完成代码的时间。
思路分析
首先对爬虫进行理解分析并获取数据所在的网址等
接着利用爬虫对所需要的经验和cookie获取
然后从分成的所有活动的总的div中获取所需要的div并且获取网址
再用div把每个人分成小块,获取学号姓名和经验存入数组
然后进行计算最高分最低分和平均分存入txt文件
再将获取的网址存入数组,将获取的名字学号和经验值存入集合
最后用正则表达式获取想要的信息
过程中的问题
在讨论代码的时候,运用什么类型来存放数据产生了争议,最后还是采用了较为易懂的集合进行存放。在各种比较中,最后也是采用了助教所建议的正则。