摘要: 第9次作业 使用sqoop进行将Hive词频统计的结果数据传输到Mysql中。 1.mysql准备接受数据的数据库与表 2. hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 阅读全文
posted @ 2020-12-12 20:07 叶利钦 阅读(65) 评论(0) 推荐(0) 编辑
摘要: 列出HBase所有的表的相关信息,例如表名; 在终端打印出指定的表的所有记录数据; 向已经创建好的表添加和删除指定的列族或列; 清空指定的表的所有记录数据; 统计表的行数。 阅读全文
posted @ 2020-11-21 21:47 叶利钦 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 1.词频统计 1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 阅读全文
posted @ 2020-11-13 02:00 叶利钦 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 本地文件系统创建一个文件,输入带姓名学号信息。 查看新建文件所在目录 查看新建文件内容 将此文件上传到HDFS文件系统上的用户目录 HDFS上查看相应目录 HDFS上查看文件内容 HDFS上查看文件大小 删除本地1步骤创建的文件 将HDFS上的文件下载到本地 查看本地文件目录 阅读全文
posted @ 2020-10-24 17:25 叶利钦 阅读(81) 评论(0) 推荐(0) 编辑
摘要: 安装hadoop 安装JAVA环境并进行环境变量配置 格式化namenode 伪分布式hadoop安装完成 阅读全文
posted @ 2020-10-20 20:40 叶利钦 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 1、 2、 阅读全文
posted @ 2020-10-10 21:14 叶利钦 阅读(93) 评论(0) 推荐(0) 编辑
摘要: 1、了解对比Hadoop不同版本的特性,可以用图表的形式呈现 DKhadoop发行版: DKhadoop将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点),极大的简化了集群的管理运维,增强了集群的高可用性、高可维护性、高稳定性。 Cloudera发行版: CDH是Cloudera的h 阅读全文
posted @ 2020-09-19 20:19 叶利钦 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 第一次作业 大数据概述与学习资源 1、了解微信、微博、小视频每天产生的数据量与数据类型。 微信每天有450亿次信息发送出,有4.1亿次音视频呼叫成功。微博每天产生的微博数超过1000万。 2、选择一个你感兴趣的领域应用数据思维进行分析决策的案例。 北京市西城区长安街街道在极为有限的空间中充分发挥数字 阅读全文
posted @ 2020-09-11 19:06 叶利钦 阅读(74) 评论(0) 推荐(0) 编辑