会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
曾鹏菲
博客园
首页
新随笔
联系
管理
订阅
1
2
下一页
2019年6月19日
大数据应用期末总评
摘要: 本作业来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件上传到HDFS 将爬虫大作业中爬取到的数据文件csv导入到/usr/local/bigdatacase/dataset目录下 2.对
阅读全文
posted @ 2019-06-19 18:14 曾鹏菲
阅读(155)
评论(0)
推荐(0)
2019年6月1日
分布式文件系统HDFS 练习
摘要: 本作业来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(had
阅读全文
posted @ 2019-06-01 16:08 曾鹏菲
阅读(111)
评论(0)
推荐(0)
2019年5月14日
安装Hadoop
摘要: 本作业来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux,MySql 2.windows 与 虚拟机互传文件 3.安装Hadoop 还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件,课
阅读全文
posted @ 2019-05-14 17:45 曾鹏菲
阅读(136)
评论(0)
推荐(0)
2019年5月7日
爬虫综合大作业
摘要: 作业来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 爬取豆瓣电影《无双》影评 1.首先分析网页 在豆瓣网站中,需要浏览影评,是需要用户登录的;因此,要爬取影评网页,就需要注册用户、登录,捉取cookie,模拟用户登录。
阅读全文
posted @ 2019-05-07 19:12 曾鹏菲
阅读(854)
评论(2)
推荐(0)
2019年4月13日
爬取全部的校园新闻
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.ge
阅读全文
posted @ 2019-04-13 11:57 曾鹏菲
阅读(169)
评论(0)
推荐(0)
2019年3月31日
理解爬虫原理
摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 简单地说,互
阅读全文
posted @ 2019-03-31 18:27 曾鹏菲
阅读(178)
评论(0)
推荐(0)
2019年3月25日
中文词频统计与词云生成
摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji
阅读全文
posted @ 2019-03-25 18:37 曾鹏菲
阅读(699)
评论(0)
推荐(0)
2019年3月22日
复合数据类型,英文词频统计
摘要: 1.列表,元组,字典,集合分别如何增删改查及遍历。 1.列表: 增 删 改 查 遍历 2.元组 增 删 查 遍历 3.字典 增 删 改 查 遍历 4.集合 增 删 改 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 括号 有序无序 可变不可变 重复不可重复 存储与查找方式 列表: 括
阅读全文
posted @ 2019-03-22 11:57 曾鹏菲
阅读(347)
评论(0)
推荐(0)
2019年3月10日
字符串操作、文件操作
摘要: 1.字符串操作: 解析身份证号:生日、性别、出生地等。 number='441801199710232652' print('身份证号码:'+number) sr="" for i in number[0:2]: sr=sr+i print(sr+":所在省市") sr="" for i in nu
阅读全文
posted @ 2019-03-10 14:00 曾鹏菲
阅读(270)
评论(0)
推荐(0)
2019年3月3日
了解大数据的特点、来源与数据呈现方式
摘要: 1.浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993 春节人口迁徙大数据报告!http://www.sohu.com/a/293854116_679156 春节大数据:消费首破万
阅读全文
posted @ 2019-03-03 11:23 曾鹏菲
阅读(187)
评论(0)
推荐(0)
1
2
下一页
公告