摘要：
如需大数据开发整套视频（hadoop\hive\hbase\flume\sqoop\kafka\zookeeper\presto\spark）：请联系QQ：1974983704 由于我使用的是kafka_2.10-0.10.0.1，需要下载对应版本的kafka-clients-0.10.1.1.ja 阅读全文
posted @ 2019-10-22 15:38 两张10元钱 阅读(128) 评论(0) 推荐(1) 编辑
摘要：
如需大数据开发整套视频（hadoop\hive\hbase\flume\sqoop\kafka\zookeeper\presto\spark）：请联系QQ：1974983704 单机版： 下载Kafka安装文件 kafka_2.10-0.10.0.1.tgz Kafka版本：kafka_2.10-0 阅读全文
posted @ 2019-10-22 15:07 两张10元钱 阅读(111) 评论(0) 推荐(0) 编辑
摘要：
表之间的Join优化 表之间的join分为Map-side Join和Reduce-side Join Map-side Join(Broadcast join) Join操作在map task中完成，因此无需启动reduce task; 适合一个大表，一个小表的连接操作 思想：将小表复制到各个节点 阅读全文
posted @ 2019-08-01 16:35 两张10元钱 阅读(133) 评论(0) 推荐(0) 编辑
摘要：
Hive数据模型 DataBases：和关系型数据库中的数据库一样 Tables:和关系型数据库中的表一样 Partitions（可选）：一些特殊的列，用于优化数据的存储和查询 Files：实际数据的物理存储单元 数据类型 支持的很多类型同一般的数据库大部分相同，但是里边有特殊类型：如struct、 阅读全文
posted @ 2019-07-31 20:17 两张10元钱 阅读(154) 评论(0) 推荐(0) 编辑
摘要：
如需大数据开发整套视频（hadoop\hive\hbase\flume\sqoop\kafka\zookeeper\presto\spark）：请联系QQ：1974983704 由于Hive需要Yarn平台的支持，所以先配置Yarn 配置Yarn 配置etc/hadoop/core-site.xml 阅读全文
posted @ 2019-07-31 16:47 两张10元钱 阅读(99) 评论(0) 推荐(0) 编辑
摘要：
如需大数据开发整套视频（hadoop\hive\hbase\flume\sqoop\kafka\zookeeper\presto\spark）：请联系QQ：1974983704 HBase Shell在bin目录下运行命令启动shell 进入命令行模式 建表：表明scores,有两个列簇：‘grad 阅读全文
posted @ 2019-07-25 14:54 两张10元钱 阅读(102) 评论(0) 推荐(0) 编辑
摘要：
如需大数据开发整套视频（hadoop\hive\hbase\flume\sqoop\kafka\zookeeper\presto\spark）：请联系QQ：1974983704 1、HBase概述 HBase是一个构建在HDFS上的分布式列存储系统（数据真正存放的位置是HDFS上的，HBase是做数 阅读全文
posted @ 2019-07-25 14:27 两张10元钱 阅读(167) 评论(0) 推荐(0) 编辑
摘要：
如需大数据开发整套视频（hadoop\hive\hbase\flume\sqoop\kafka\zookeeper\presto\spark）：请联系QQ：1974983704 因为HBase需要Zookeeper的支持，需要在启动HBase之前先启动Zookeeper（zookeeper安装） 1 阅读全文
posted @ 2019-07-23 12:28 两张10元钱 阅读(113) 评论(0) 推荐(0) 编辑
摘要：
将zookeeper-3.4.9.tar.gz上传到master虚拟机 解压：tar -zxvf zookeeper-3.4.9.tar.gz 配置环境变量 添加下边两行配置 执行 配置zookeeper配置文件 进入zookeeper-3.4.9下的conf目录 复制zoo_sample.cfg为 阅读全文
posted @ 2019-07-22 15:55 两张10元钱 阅读(118) 评论(0) 推荐(0) 编辑