会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Leo木子李
博客园
首页
新随笔
联系
管理
订阅
2019年6月20日
Hadoop综合大作业
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件上传到HDFS (1)在HDFS里创建一个目录用于存放待分析的大数据文件。 (2)把文件上传到HDFS。 2.对CSV文件进行预处理生成
阅读全文
posted @ 2019-06-20 20:06 Leo木子李
阅读(222)
评论(0)
推荐(0)
编辑
2019年5月31日
分布式文件系统HDFS
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 (1)在HDFS中为hadoop用户创建一个用户目录(ha
阅读全文
posted @ 2019-05-31 16:56 Leo木子李
阅读(147)
评论(0)
推荐(0)
编辑
2019年5月16日
安装Hadoop
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1、安装mysql 打开终端输入命令 检验是否安装成功,注:一定要记住用户名#密码 2、安装hadoop 安装JAVA环境并进行环境变量配置,成功之后使用命令java
阅读全文
posted @ 2019-05-16 21:17 Leo木子李
阅读(97)
评论(0)
推荐(0)
编辑
2019年5月8日
爬虫综合大作业
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 1.对网易云歌词的爬取并做成词云 经常使用网易云音乐听歌,特别喜欢网易云的年度听歌报告。所以生活终于对这小猫咪下手了。 (1) 分析歌手首页HTML,找出入口api 观
阅读全文
posted @ 2019-05-08 23:11 Leo木子李
阅读(417)
评论(0)
推荐(0)
编辑
2019年4月13日
爬取全部的校园新闻
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.ge
阅读全文
posted @ 2019-04-13 17:53 Leo木子李
阅读(250)
评论(0)
推荐(0)
编辑
2019年3月30日
理解爬虫原理
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 (1)发起请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。 (2)获取
阅读全文
posted @ 2019-03-30 17:58 Leo木子李
阅读(144)
评论(0)
推荐(0)
编辑
2019年3月23日
中文词频统计与词云生成
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji
阅读全文
posted @ 2019-03-23 02:18 Leo木子李
阅读(1614)
评论(0)
推荐(0)
编辑
2019年3月22日
复合数据类型,英文词频统计
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 括号 有序无序 可变不可变 重复不可重复 存储与查找
阅读全文
posted @ 2019-03-22 10:49 Leo木子李
阅读(256)
评论(0)
推荐(0)
编辑
2019年3月9日
字符串操作、文件操作,英文词频统计预处理
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作: 解析身份证号:生日、性别、出生地等。 代码如下: import datetime class GetInformation(object): def
阅读全文
posted @ 2019-03-09 01:49 Leo木子李
阅读(159)
评论(0)
推荐(0)
编辑
2019年3月2日
了解大数据的特点、来源与数据呈现方式
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_31399
阅读全文
posted @ 2019-03-02 00:36 Leo木子李
阅读(185)
评论(0)
推荐(0)
编辑
下一页
公告