摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件上传到HDFS (1)在HDFS里创建一个目录用于存放待分析的大数据文件。 (2)把文件上传到HDFS。 2.对CSV文件进行预处理生成 阅读全文
posted @ 2019-06-20 20:06 Leo木子李 阅读(222) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 (1)在HDFS中为hadoop用户创建一个用户目录(ha 阅读全文
posted @ 2019-05-31 16:56 Leo木子李 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1、安装mysql 打开终端输入命令 检验是否安装成功,注:一定要记住用户名#密码 2、安装hadoop 安装JAVA环境并进行环境变量配置,成功之后使用命令java 阅读全文
posted @ 2019-05-16 21:17 Leo木子李 阅读(97) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 1.对网易云歌词的爬取并做成词云 经常使用网易云音乐听歌,特别喜欢网易云的年度听歌报告。所以生活终于对这小猫咪下手了。 (1) 分析歌手首页HTML,找出入口api 观 阅读全文
posted @ 2019-05-08 23:11 Leo木子李 阅读(417) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.ge 阅读全文
posted @ 2019-04-13 17:53 Leo木子李 阅读(250) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 (1)发起请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。 (2)获取 阅读全文
posted @ 2019-03-30 17:58 Leo木子李 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji 阅读全文
posted @ 2019-03-23 02:18 Leo木子李 阅读(1614) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 括号 有序无序 可变不可变 重复不可重复 存储与查找 阅读全文
posted @ 2019-03-22 10:49 Leo木子李 阅读(256) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作: 解析身份证号:生日、性别、出生地等。 代码如下: import datetime class GetInformation(object): def 阅读全文
posted @ 2019-03-09 01:49 Leo木子李 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_31399 阅读全文
posted @ 2019-03-02 00:36 Leo木子李 阅读(185) 评论(0) 推荐(0) 编辑