摘要:spark可以通过读取hive的元数据来兼容hive,读取hive的表数据,然后在spark引擎中进行sql统计分析,从而,通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下: 1、启动hive的元数据服务 [root@master apache-hive-1.2.2-
阅读全文
随笔分类 - Hadoop
摘要:ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
阅读全文
摘要:描述:windows调试 hbase 代码时,出现如下错误:Session establishment complete on server 2181, sessionid = 0x35fb853eb6f0004, negotiated timeout = 40000 错误原因是: 本地hosts文
阅读全文
摘要:问题: 在HBase机群搭建完成后,通过jdbc连接hbase,在连接zookeeper阶段出现Opening socket connection to server :2181. Will not attempt to authenticate using SASL (unknown error)
阅读全文
摘要:前提条件:hadoop及zookeeper机群已经搭建好。 配置hbase集群步骤: 1.配置hbase集群,要修改3个文件 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 1.1修改hbase-env.sh export JAVA_HOM
阅读全文
摘要:机群搭建好,执行自带wordcount时出现: Input path does not exist: hdfs://ns1/user/root/a.txt 此错误。 [root@slave1 hadoop]# ls a.txt dfs1 include libexec name sbin test
阅读全文
摘要:描述:鉴于本地电脑内存限制,采用三台虚机安装此环境。 主机名,分别为master、slave1、slave2. zookeeper分别安装这三台机器上,master和slave1做主从备份, slave1和slave2是DataNode, slave1充当了master和slave的角色。 集群规划
阅读全文
摘要:Initialization of all the collectors failed. Error in last collect or was :class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text
阅读全文
摘要:hadoop环境配置好后,直接可以在window上进行调试。话不多说,直接上源码。 package cn.terry; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileO
阅读全文