Terry's blog

Focus on bigdata and cloud.

博客园 首页 新随笔 联系 订阅 管理

随笔分类 -  Hadoop

摘要:spark可以通过读取hive的元数据来兼容hive,读取hive的表数据,然后在spark引擎中进行sql统计分析,从而,通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下: 1、启动hive的元数据服务 [root@master apache-hive-1.2.2- 阅读全文
posted @ 2018-06-27 10:15 王晓成 阅读(8266) 评论(0) 推荐(0) 编辑

摘要:ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 阅读全文
posted @ 2018-05-02 17:45 王晓成 阅读(4844) 评论(0) 推荐(1) 编辑

摘要:描述:windows调试 hbase 代码时,出现如下错误:Session establishment complete on server 2181, sessionid = 0x35fb853eb6f0004, negotiated timeout = 40000 错误原因是: 本地hosts文 阅读全文
posted @ 2017-11-14 10:56 王晓成 阅读(4899) 评论(0) 推荐(0) 编辑

摘要:问题: 在HBase机群搭建完成后,通过jdbc连接hbase,在连接zookeeper阶段出现Opening socket connection to server :2181. Will not attempt to authenticate using SASL (unknown error) 阅读全文
posted @ 2017-11-13 16:54 王晓成 阅读(6239) 评论(0) 推荐(0) 编辑

摘要:前提条件:hadoop及zookeeper机群已经搭建好。 配置hbase集群步骤: 1.配置hbase集群,要修改3个文件 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 1.1修改hbase-env.sh export JAVA_HOM 阅读全文
posted @ 2017-11-13 12:18 王晓成 阅读(353) 评论(0) 推荐(0) 编辑

摘要:机群搭建好,执行自带wordcount时出现: Input path does not exist: hdfs://ns1/user/root/a.txt 此错误。 [root@slave1 hadoop]# ls a.txt dfs1 include libexec name sbin test 阅读全文
posted @ 2017-11-13 10:31 王晓成 阅读(2225) 评论(0) 推荐(0) 编辑

摘要:描述:鉴于本地电脑内存限制,采用三台虚机安装此环境。 主机名,分别为master、slave1、slave2. zookeeper分别安装这三台机器上,master和slave1做主从备份, slave1和slave2是DataNode, slave1充当了master和slave的角色。 集群规划 阅读全文
posted @ 2017-11-10 17:53 王晓成 阅读(539) 评论(0) 推荐(0) 编辑

摘要:Initialization of all the collectors failed. Error in last collect or was :class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text 阅读全文
posted @ 2017-11-08 16:36 王晓成 阅读(1105) 评论(0) 推荐(0) 编辑

摘要:hadoop环境配置好后,直接可以在window上进行调试。话不多说,直接上源码。 package cn.terry; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileO 阅读全文
posted @ 2017-11-07 17:40 王晓成 阅读(1324) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示