摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件 2.对CSV文件进行预处理生成无标题文本文件 3.把上传到hdfs中的文本文件最终导入到数据仓库Hive中 4.在Hive中查看并分析 阅读全文
posted @ 2019-06-20 10:01 KevinShem 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 本次作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 dfs命令出现以下警告 阅读全文
posted @ 2019-06-01 23:58 KevinShem 阅读(121) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 安装JAVA环境: 配置环境变量: 让环境变量生效: 安装hadoop: 阅读全文
posted @ 2019-05-16 20:47 KevinShem 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 splash是容器安装的,从docker官网上下载windows下的docker进行安装。 下载完成之后直接点击安装,安装成功后,桌边会出现三个图标: 点击 Docke 阅读全文
posted @ 2019-05-07 21:32 KevinShem 阅读(862) 评论(0) 推荐(1) 编辑
摘要: 作业链接:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.ge 阅读全文
posted @ 2019-04-13 16:34 KevinShem 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提取自己需要的数据,存放起来使 阅读全文
posted @ 2019-03-30 20:15 KevinShem 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji 阅读全文
posted @ 2019-03-23 15:00 KevinShem 阅读(251) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 括号 有序无序 可变不可变 重复不可重复 存储与查找 阅读全文
posted @ 2019-03-21 20:17 KevinShem 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作: 解析身份证号:生日、性别、出生地等 import requests import chardet from bs4 import BeautifulS 阅读全文
posted @ 2019-03-10 22:02 KevinShem 阅读(362) 评论(0) 推荐(0) 编辑
摘要: 作业链接:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 一.浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313 阅读全文
posted @ 2019-03-04 11:59 KevinShem 阅读(433) 评论(0) 推荐(0) 编辑