摘要:
一、引言 HBase由于其存储和读写的高性能,在OLAP即时分析中越来越发挥重要的作用,在易观精细化运营产品 易观方舟也有广泛的应用。作为Nosql数据库的一员,HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录),Rowkey设计的优劣直接影响读写性能。HBase中的数据 阅读全文
摘要:
DDL 1.创建数据库,为了避免数据库已存在,加上 判断,并且指定数据库在HDFS上存放的位置 2.删除数据库,如果数据库不为空,可以采用 强制删除 3.hive建表最好限定规则 4.管理表 默认创建的表都是管理表,即内部表。管理表不适合和其他工具共享数据。 内部表 外部表 bash create 阅读全文
摘要:
1.显示头部信息,hive site.xml 2.运行日志配置 hive的log默认存放在/tmp/root/hive.log目录下(当前用户名下) 修改log存放到指定目录,修改hive log4j.properties 3.参数的配置形式 配置文件配置 命令行参数方式 查看(修改)参数配置 阅读全文
摘要:
HIve的安装与配置 本文中hive版本2.3.2,默认环境中jdk已经正常安装,hadoop集群正常启动 1.1下载hive安装文件 可以从Apache官网下载安装文件,即http://mirror.bit.edu.cn/apache/hive/ 由于hive是默认将元数据保存在本地内置的Derb 阅读全文
摘要:
问题: 启动hive时出现以下错误: Caused by: java.sql.SQLException: The server time zone value 'EDT' is unrecognized or represents more than one time zone. You must 阅读全文
摘要:
原因: 1.防火墙没关闭(对应端口没有打开) 2.hadoop集群没有启动成功 3.hadoop集群处于安全模式 4.网络问题 解决方案: 1.关闭防火墙 2.jps查看进程,出现下面几个进程则启动成功。 hdfs三个进程中,datanode和namenode只有一个启动成功,可能是namenode 阅读全文
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me
摘要:
启动hive之后执行查询语句报错如下: 分析得知:hive的数据库MySQL在安装的时候没有初始化 解决办法:初始化数据库 schematool dbType mysql initSchema 出现下面这个界面则表示初始化成功 验证: 原文链接:https://blog.csdn.net/weixi 阅读全文
摘要:
CentOS7的版本是:7.5.1804 清理工作 1.通过rpm qa | grep mariadb命令查看mariadb的安装包 2.如果有信息,通过rpm e nodeps mariadb libs x.x.xx x.xxx.x86_64命令卸载 3.通过rpm qa | grep mysql 阅读全文
摘要:
红帽安装rpm安装MySQL时爆出警告: 警告:MySQL server 5.5.46 1.linux2.6.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY 原因:这是由于yum安装了旧版本的GPG keys造成的 解决办法:后面加 阅读全文
摘要:
初步了解YARN的架构及原理 YARN 产生背景 MapReduce存在的问题: 1)JobTracker 单点故障。 2)JobTracker 承受的访问压力大,影响系统的扩展性。 3)不支持MapReduce之外的计算框架,比如Storm、Spark、Flink 什么是YARN YARN 是Ha 阅读全文