摘要：1. sqoop数据迁移 1.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 1.2 阅读全文

摘要：hive 目前支持的数据类型如下： -- 数值类型 Numeric TypesTINYINT (1-byte signed integer, from -128 to 127)SMALLINT (2-byte signed integer, from -32,768 to 32,767)INT/IN 阅读全文

摘要：Hive有三种使用方式——CLI命令行，HWI（hie web interface）浏览器 以及 Thrift客户端连接方式。 1、hive 命令行模式 直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟MySQ 阅读全文

摘要：Hive架构图 主要分为以下几个部分： 用户接口，包括 命令行CLI，Client，Web界面WUI，JDBC/ODBC接口等 中间件：包括thrift接口和JDBC/ODBC的服务端，用于整合Hive和其他程序。 元数据metadata存储，通常是存储在关系数据库如 mysql, derby 中的 阅读全文

摘要：首先，Hive 没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织 Hive 中的表，只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。 其次，Hive 中所有的数据都存储在 HDFS 中，Hive 中包含以下数据模型：Table，Exter 阅读全文

摘要：Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内 阅读全文

摘要：Hive与Hadoop调用图 解析： 1、提交sql 交给驱动2、驱动编译：解析相关的字段表信息3、去metastore查询相关的信息 返回字段表信息4、编译返回信息 发给驱动5、驱动发送一个执行计划 交给执行引擎6、执行计划 (三种形式: metastore、namenode、metastore+ 阅读全文

摘要：对比图 总结： Hive并非为联机事务处理而设计，Hive并不提供实时的查询和基于行级的数据更新操作。Hive是建立在Hadoop之上的数据仓库软件工具，它提供了一系列的工具，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL(Extraction，Transformation，and 阅读全文