随笔分类 - Big Data使用
摘要:**背景:** 当SparkStream连接kafka,消费数据时,报错: > object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord, value: ConsumerRecord ![](ht
阅读全文
摘要:背景 当我在使用IDEA本地连接服务器spark服务时,虽然拷贝了hive-site.xml,提供了相应的依赖,仍然报错:org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism 依赖如下: <dependencies> <depe
阅读全文
摘要:报错信息如下 原因分析 主要是没有在Spark配置hive的配置文件,把hive配置的hive-site.xml文件拷贝到spark目录下即可 mv ../hive/conf/hive-site.xml ../spark/conf/hive-site.xml 说明: 如果报JDBC错误,还需要将..
阅读全文
摘要:背景 将HBase的基础信息,配置完毕后,访问http://pc001:16010时,网页端无法访问 分析 查看对应的启动log日志:tail -f /opt/software/hbase-1.3.1/logs/hbase-nuochengze-master-pc001.log 发现自己的**$HB
阅读全文
摘要:问题描述 使用Sqoop从mysql导入数据到hive报错:Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly 分析 对于HiveConf.class类是存在的 措
阅读全文
摘要:背景 在启动完成hive服务:hive --service metastore后 启动hive2服务的过程中:hive --service hiveserver2后 启动beeline客户端时,beeline -u jdbc:hive2://pc001:10000 -n nuochengze 报错:
阅读全文
摘要:背景 在启动完成hive服务:hive --service metastore后 启动hive2服务的过程中:hive --service hiveserver2时 报错:java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfig
阅读全文
摘要:背景 当配置了hive元数据访问后,启动元数据服务hive --service metastore,再开窗口使用hive报错: FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.had
阅读全文
摘要:背景 在配置完hive的hive.metastore.uris之后,报错 Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.
阅读全文
摘要:背景 使用hive的过程中,本身存在一个metastore的情况下,初始化元数据库 解决措施 删除元数据库,后新建一个 结果 schematool -initSchema -dbType mysql -verbose
阅读全文
摘要:背景 在使用hive元数据服务方式访问hive时,使用jdbc连接到mysql时提示错误: java.sql.SQLNonTransientConnectionException: Public Key Retrieval is not allowed 原因分析 如果用户使用了 sha256_pas
阅读全文
摘要:系统要求在hdfs上用户应该具备写权限,而从报错可以看出只有所有者具有写权限,所有组合其他用户不具备。 修改用户权限 hadoop fs -chmod -R 777 /tmp
阅读全文
摘要:报错信息 解决措施 安装ntpdate工具进行时间同步 sudo yum install ntp ntpdate -y 设置系统时间与网络时间同步 sudo ntpdate cn.pool.ntp.org
阅读全文
摘要:报错信息如下 原因分析 集群中运行的container尝试使用更多的内存 ,但是被NodeManager给中断了 解决措施 配置所需内存大小 在/opt/software/hadoop-3.1.3/etc/hadoop/下的mapred-site.xml中添加如下配置:(其中的数字大小可以根据自己电
阅读全文
摘要:报错信息截图 解决措施 按提示所言,相关的类路径信息不全 获取所有的类路径 hadoop classpath 然后在etc/hadoop/mapred-site.xml中加入下面这个标签。其中<value>里面的值就是上面hadoop classpath运行后的输出内容 <property> <na
阅读全文
摘要:报错信息截图 可以很明确的看到报错信息,/bin/java未生效,原因是我是用的配置环境的方式使用的jdk,未采用yum过进行安装jdk 解决措施:创建真实的jdk目录到/bin/java 创建软链接 ln -s /opt/software/jdk1.8.0_201/bin/java /bin/ja
阅读全文
摘要:主机的hostname不合法,修改为不包含着‘.’ '/' '_'等非法字符
阅读全文
摘要:错误示例 在$HADOOP_HOME/sbin/start-yarn.sh文件中添加root用户的定义 YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root HDFS_NAMENODE
阅读全文