Sun's Blog-专注于阅读

摘要： @ 库的常见操作 1.增 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] // 库的注释说明 [LOCATION hdfs_path] // 库在hdfs上的路径 [WITH DBPR 阅读全文

摘要： @ 基本数据类型 对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。 集合数据类型 Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Arra 阅读全文

摘要： 在hive的安装目录下，进入conf目录，创建一个hive-site.xml文件 根据官方文档配置参数，拷贝数据到hive-site.xml文件中 https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin 阅读全文

摘要： @ 实际数据的存储 Hive要分析的数据是存储在HDFS上 hive中的库的位置，在hdfs上就是一个目录！ hive中的表的位置，在hdfs上也是一个目录，在所在的库目录下创建了一个子目录！ hive中的数据，是存在在表目录中的文件！ 分隔符 表在创建时，有分隔符属性，这个分隔符属性，代表在执行M 阅读全文

摘要： @ 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据 阅读全文

摘要： 当搭建好分布式集群后，准备使用命令格式化时 hdfs namenode format 在日志的最后一行出现 java.net.unknownhostexception的异常，通常是你的主机名没有配置好，在core-site.xml文件中的主机名与hosts文件、network文件里的主机名不一致。 阅读全文

摘要： @ 1．集群规划 在hadoop101、hadoop102和hadoop103，这三个节点上部署Zookeeper。 2．解压安装 （1）在101机器上，解压Zookeeper安装包到/opt/module/(自己创建)目录下 tar -zxvf zookeeper-3.4.10.tar.gz -C 阅读全文

摘要： @ 1.安装前准备 （1）安装Jdk （2）拷贝Zookeeper安装包到Linux系统下e （3）解压到指定目录 tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 2.配置修改 （1）将/opt/module/zookeeper-3.4.10/co 阅读全文

摘要： @ 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 Zookeeper工作机制 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zoo 阅读全文

摘要： 1）导包容易出错。尤其Text和CombineTextInputFormat。 2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable. 报的错误是类型转换异常。 3）java.lang.Exception: java.io.IO 阅读全文