记忆残留

摘要： #创建表人信息表 person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STOR 阅读全文

摘要： 最近在学习使用Hive（版本0.13.1）的过程中，发现了一些坑，它们或许是Hive提倡的比关系数据库更加自由的体现（同时引来一些问题），或许是一些bug。总而言之，这些都需要使用Hive的开发人员额外注意。本文旨在列举我发现的3个通过查询语句向表中插入数据过程中的问题，希望大家注意。 为了验证接下 阅读全文

摘要： 1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reduc 阅读全文

摘要： 安装环境如下： 操作系统：CentOs 6.6 Hadoop 版本：CDH-5.3.0 Spark 版本：1.2 集群5个节点 node01~05 node01~03 为worker、 node04、node05为master spark HA 必须要zookeepr来做协同服务，做master主备 阅读全文

摘要： 注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。 1. ResourceManager相关配置参数 （1） yarn.resourcemanager.address 参数解释：ResourceManager 对客户 阅读全文

摘要： resourcemanager启动报错，其中一个启动成功，另一个启动报8088端口被成功启动的rm占用 标红的IP:172.16.145.114为成功启动的resourcemanager，上面的报错信息是启动失败的rm(172.16.145.115)报的错 错误显示114的8088端口已经在使用，跟 阅读全文

摘要： yarn启动报错： 错误原因：8031端口是yarn.resourcemanager.resource-tracker.address的默认端口，yarn-site中没有配置这个的地址，nodemanager会默认去连接 0.0.0.0:8031 yarn.resourcemanager.resou 阅读全文

摘要： zookeeper启动报错日志： 解决办法：把 datadir目录以及目录下的文件的拥有者改为zookeeper用户和zookeeper用户组 执行命令:chown -R zookeeper:zookeeper /var/lib/zookeeper 重启成功！ 阅读全文

摘要： rpm安装 下载epl源 ： Download the latest epel-release rpm from:http://dl.fedoraproject.org/pub/epel/6/x86_64 执行 wget http://dl.fedoraproject.org/pub/epel/6/ 阅读全文

摘要： hive创建带有中文注释的表报错； character_set_database 需要设置成“latin1” 修改数据库编码： 为了支持Hive建表时插入中文注释 需要在MySQL中做如下设置： use hive; //修改字段注释字符集 alter table COLUMNS_V2 modify 阅读全文