徐鑫泽---第一次个人编程作业
| 这个作业属于哪个课程 | <2018 级计算机和综合实验班> |
|---|---|
| 这个作业要求在哪里 | <作业要求的链接> |
| 这个作业的目标 | <数据采集，可视化，前端> |
| 作业源代码 | first-personal-work |
| 学号 | <211808579> |
| 计划安排 | |
| 步骤 | 计划时间 |
| ---------- | -------------------------------------- |
| 理解作业要求 | 30分钟 |
| 计划如何完成 | 30分钟 |
| 相关资料的学习 | 2天 |
| 创建仓库并连接 | 15分钟 |
| 编写爬虫代码 | 1天 |
| 词频统计及json转化 | 半天 |
| 制作此云图 | 半天 |
| git上传 | 1小时 |
- 编写爬虫
首先进入网页观察评论源码
对网页进行分析发现每当点击更多评论时会发现有新地址跳出
通过比较网址发现只有 cursor 和 source 进行了改变，其他是不变的，source 是在第一个的基础上进行加一操作，所以只需要获取到 cursor 即可。
- 编写爬取内容
3. 编写json
在做词频统计的时候，在import jieba时出现问题
然而在终端下载时显示已经下载过jieba，通过百度了解到可能因为默认的安装路径不对，而直接在终端下载
可能会面临网络不稳定等多种因素（本人亲自下了几次都失败了，又慢又完不成），于是乎下载国内的镜像，并且修改下载路径终于可以使用jieba。
参考网页
pycharm安装jieba包(中文词分解析)
呜。。。这个jieba真的花了我太多时间了
而后进行频数统计在完成代码的过程中遇到报错“UnicodeDecodeError: 'utf-8' codec can't decode byte”一时间也不知道如何
解决，最后搜索得到了解答
python 报错"UnicodeDecodeError: 'utf-8' codec can't decode byte"的解决办法
哈哈正如他所说的“原文件的编码方式是“ANSI”. 哦哦哦哦哦哦哦哦哦哦哦。。。。不报错才怪呢！”
- 制作词云图
在顺利完成js之后，就到了词云图的环节，在这里我要感谢我的同学李明特，他在这个环节帮到了我许多，还给我提供了一个比较丰富的资源，并且跟我讲解了制作词云图的方法，这可以说是到现在为止比较顺利的缓解了！！
- 将所有文件上传到远程仓库
将所有的文件一一git add 到暂存区，在经过 get commit -m 上传
合并分支
最后git push 将所有文件传输到远程仓库中
- 个人总结
总的来说这次的作业并不算顺利，有许多爬虫的知识都遗忘了，需要拿书现学。
对于git的操作和用途了解很少，很难快速准确的达到要求。
在库的安装上花费了比较多的时间，需要加强练习。
