林文豪————第一次个人编程作业

博客班级 https://edu.cnblogs.com/campus/fzzcxy/2018CS/
作业要求 https://edu.cnblogs.com/campus/fzzcxy/2018CS/homework/11732
作业目标 1. 爬取电视剧《在一起》的评论 2.数据处理 3.生成词云 4.将代码上传到Github
作业源代码 https://github.com/KKBKKO/first-personal-work
学号 211806122
步骤 花费时间
1.采集影评数据 3h
2.处理数据 4h
3.数据生成词云图 2h
4.上传到Github 1h

1.评论爬取
(1)打开腾讯视频搜索电视剧《在一起》,点击进入评论区。

(2)对网页的request请求进行分析,可以发现网页是异步加载的。

(3)查看更多评论得到新的响应。

(4)打开控制台,点开network,可以得到当前页面的resquest-url,多次刷新查看评论并进行观察,会发现每次都会有一个V2开头的标签,点开可以发现评论信息。

(5)会发现url的规律,变化的只有尾部的数字和"cursor="后面的数字,于是可以根据这个进行爬取数据了,并把它保存在txt文件中。

2.数据处理
使用正则爬取

获得评论

3.生成词云

4.上传到Github
·通过命令进入到自己需要操作的文件夹内,进入master模式。
·连接我的github仓库
·输入"git clone"仓库HTTPS地址,将远程仓库的项目克隆到本地仓库

cd进入first-personal-work文件,"git branch -a"查看所有分支
输入"git checkout crawl"切换分支

输入"git add 文件名",将文件添加到暂存区

个人感悟
这次的个人编程作业对我来说着实有着不小的难度,通过网上查询资料与向同学请教才跌跌撞撞出来,认识到了自己的欠缺与不足。通过这次的任务,也了解到了很多有趣实用的知识,希望开学后可以更好的进行学习。未来的路还很长,希望自己可以一路披荆斩棘,攻克一个又一个的难关。

posted @ 2021-02-25 22:56  可口不可热  阅读(96)  评论(1编辑  收藏  举报