摘要：
1、Sqoop是什么 Sqoop:SQL-to-Hadoop 传统数据库与Hadoop间数据同步工具 利用Mapreduce分布式批处理，加快了数据传输速度，保证了容错性 2、Sqoop1架构 sqoop import原理：从传统数据库获取元数据信息(schema、table、field、field 阅读全文
摘要：
下载安装包：http://archive.apache.org/dist/sqoop/1.4.6/ 查看本机java版本 上传 查看 解压 查看 命名 删除 由于下载的是apache下面的 需要源码编译 找到hadoop版本 找到200 配置环境变量 进入配置文件 操作hadoop 配置环境变量 配 阅读全文
摘要：
Hive工作原理 流程大致步骤为： 1. 用户提交查询等任务给Driver。 2. 编译器获得该用户的任务Plan。 3. 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。 4. 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象 阅读全文
摘要：
HBase的概念： HBase在生态圈位置 HBase与HDFS对比 HBase与关系型数据库的比较 HBase表的特点： 4）任意模式：每一行都有一个可排序的主键和任意多的列，列可以根据自己的需要动态的添加，同一张表中的不同的行他们的列可以不相同。 5）多个数据版本：每个单元中的数据可以有多个版本 阅读全文
摘要：
HBase HA分布式集群搭建部署———集群架构 搭建之前建议先学习好HBase基本构架原理：https://www.cnblogs.com/lyywj170403/p/9203012.html 集群部署： master：master slave1 regionservers ：slave1 sla 阅读全文