2019年6月19日

摘要：本次作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导入到数据仓库Hive中 4.在Hi 阅读全文

posted @ 2019-06-19 23:32 行走的代码+ 阅读(453) 评论(0) 推荐(0) 编辑

2019年6月3日

分布式文件系统HDFS练习

摘要：本次作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互以”./bin/dfs dfs”开头的Shell命令方式首先启动start-dfs.sh 1.目录操作（1）在HDF 阅读全文

posted @ 2019-06-03 16:16 行走的代码+ 阅读(225) 评论(0) 推荐(0) 编辑

2019年5月12日

安装Hadoop

摘要：本次作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux （1）新建虚拟电脑（2）配置虚拟电脑（3）完成虚拟电脑的配置（4）添加ubuntu ISO镜像文件进行ubuntu操作系统安装（5）阅读全文

posted @ 2019-05-12 18:15 行走的代码+ 阅读(196) 评论(0) 推荐(0) 编辑

2019年5月7日

爬虫综合大作业

摘要：本次作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 一.把爬取的内容保存到数据库sqlite3 把爬取的内容保存到MySQL数据库二.爬虫综合大作业爬取说明我爬取的目标是微信，获取微信中的好友男女数量，阅读全文

posted @ 2019-05-07 18:09 行走的代码+ 阅读(279) 评论(0) 推荐(0) 编辑

2019年4月12日

爬取全部的校园新闻

摘要：本次作业的要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数，并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) reque 阅读全文

posted @ 2019-04-12 20:35 行走的代码+ 阅读(186) 评论(0) 推荐(0) 编辑

2019年3月29日

理解爬虫原理

摘要：这次作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物。爬虫指的是：向网站发阅读全文

posted @ 2019-03-29 20:09 行走的代码+ 阅读(313) 评论(0) 推荐(0) 编辑

2019年3月23日

中文词频统计与词云生成

摘要：这次作业来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 一、中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba impo 阅读全文

posted @ 2019-03-23 15:37 行走的代码+ 阅读(1156) 评论(0) 推荐(0) 编辑

2019年3月17日

复合数据类型，英文词频统计

摘要：这次作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表，元组，字典，集合分别如何增删改查及遍历。（1）列表增加元素删除元素修改元素查找元素遍历元素（2）元组增加元素：元组与列表类似，不同之阅读全文

posted @ 2019-03-17 22:41 行走的代码+ 阅读(203) 评论(0) 推荐(0) 编辑

2019年3月9日

字符串操作、文件操作，英文词频统计预处理

摘要：作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作：解析身份证号：生日、性别、出生地等。凯撒密码编码与解码网址观察与批量生成 2.英文词频统计预处理下载一首英文的歌词或文章或小说。将所有大写阅读全文

posted @ 2019-03-09 22:51 行走的代码+ 阅读(195) 评论(0) 推荐(0) 编辑

2019年3月2日

了解大数据的特点、来源与数据呈现方式

摘要：这次作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 1.浏览2019春节各种大数据分析报告，例如：这世间，再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/2900257 阅读全文

posted @ 2019-03-02 16:29 行走的代码+ 阅读(202) 评论(0) 推荐(0) 编辑