摘要: 使用sqoop进行将Hive词频统计的结果数据传输到Mysql中。 1.mysql准备接受数据的数据库与表 2. hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 阅读全文
posted @ 2020-12-11 20:36 郑兆岳 阅读(74) 评论(0) 推荐(0) 编辑
摘要: 一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 阅读全文
posted @ 2020-12-05 23:00 郑兆岳 阅读(96) 评论(0) 推荐(0) 编辑
摘要: 使用HBase Shell命令 或 使用HBase Java API完成: 一任务: 安装hbase 1列出HBase所有的表的相关信息,例如表名; 2在终端打印出指定的表的所有记录数据; 3向已经创建好的表添加和删除指定的列族或列; 4清空指定的表的所有记录数据; 5统计表的行数。 二.关系型数据 阅读全文
posted @ 2020-11-22 00:40 郑兆岳 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 1.电子书词频统计 2.气象数据(未成功) 阅读全文
posted @ 2020-11-06 09:30 郑兆岳 阅读(94) 评论(0) 推荐(0) 编辑
摘要: 1.本地文件系统创建一个文件,输入带姓名学号信息。 2.查看新建文件所在目录 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上的用户目录 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.HDFS上查看文件大小 8删除本地1步骤创建的文件 9.将HDFS上的文件下载到本地 10. 阅读全文
posted @ 2020-10-23 13:29 郑兆岳 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 1.hdfs体系结构 2.工作流程——读操作 3.工作流程——写操作 4.安装截图 阅读全文
posted @ 2020-10-17 21:41 郑兆岳 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-10 21:48 郑兆岳 阅读(104) 评论(0) 推荐(0) 编辑
摘要: 1.了解对比Hadoop不同版本的特性,可以用图表的形式呈现。 (1)Apache Hadoop 社区版 Apache Hadoop完全开源免费,社区活跃,且文档、资料详实。 但是Apache Hadoop有很多缺点: 1、复杂的版本管理。版本管理比较混乱的,各种版本层出不穷; 2、复杂的集群部署、 阅读全文
posted @ 2020-09-19 15:55 郑兆岳 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 1.微博用户总计每天几乎会发表1千万左右的微博。 2.篮球运动员使用大数据系统,来记录每一名球员的进球区域,通过整合数据来推测每一名球员的擅长进攻区域以方便防守队员进行防守。 3.物联网:物联网是计算机与互联网技术的结合,实现物体之间的资源共享交换等。 区块链:区块链是一个集合的密码学、分布式储存智 阅读全文
posted @ 2020-09-11 22:32 郑兆岳 阅读(126) 评论(0) 推荐(0) 编辑