会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
kevinShem
博客园
首页
新随笔
联系
订阅
管理
2019年6月20日
大数据应用期末总评
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件 2.对CSV文件进行预处理生成无标题文本文件 3.把上传到hdfs中的文本文件最终导入到数据仓库Hive中 4.在Hive中查看并分析
阅读全文
posted @ 2019-06-20 10:01 KevinShem
阅读(118)
评论(0)
推荐(0)
编辑
2019年6月1日
分布式文件系统HDFS 练习
摘要: 本次作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 dfs命令出现以下警告
阅读全文
posted @ 2019-06-01 23:58 KevinShem
阅读(121)
评论(0)
推荐(0)
编辑
2019年5月16日
安装Hadoop
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 安装JAVA环境: 配置环境变量: 让环境变量生效: 安装hadoop:
阅读全文
posted @ 2019-05-16 20:47 KevinShem
阅读(99)
评论(0)
推荐(0)
编辑
2019年5月7日
scrapy+splash 爬取京东动态商品
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 splash是容器安装的,从docker官网上下载windows下的docker进行安装。 下载完成之后直接点击安装,安装成功后,桌边会出现三个图标: 点击 Docke
阅读全文
posted @ 2019-05-07 21:32 KevinShem
阅读(862)
评论(0)
推荐(1)
编辑
2019年4月13日
爬取全部的校园新闻
摘要: 作业链接:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.ge
阅读全文
posted @ 2019-04-13 16:34 KevinShem
阅读(159)
评论(0)
推荐(0)
编辑
2019年3月30日
理解爬虫原理
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提取自己需要的数据,存放起来使
阅读全文
posted @ 2019-03-30 20:15 KevinShem
阅读(131)
评论(0)
推荐(0)
编辑
2019年3月23日
中文词频统计与词云生成
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji
阅读全文
posted @ 2019-03-23 15:00 KevinShem
阅读(251)
评论(0)
推荐(0)
编辑
2019年3月21日
复合数据类型,英文词频统计
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 括号 有序无序 可变不可变 重复不可重复 存储与查找
阅读全文
posted @ 2019-03-21 20:17 KevinShem
阅读(199)
评论(0)
推荐(0)
编辑
2019年3月10日
字符串操作、文件操作,英文词频统计预处理
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作: 解析身份证号:生日、性别、出生地等 import requests import chardet from bs4 import BeautifulS
阅读全文
posted @ 2019-03-10 22:02 KevinShem
阅读(362)
评论(0)
推荐(0)
编辑
2019年3月4日
了解大数据的特点、来源与数据呈现方式
摘要: 作业链接:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 一.浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313
阅读全文
posted @ 2019-03-04 11:59 KevinShem
阅读(433)
评论(0)
推荐(0)
编辑
下一页