随笔分类 -  Big Data使用

摘要:**背景:** 当SparkStream连接kafka,消费数据时,报错: > object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord, value: ConsumerRecord ![](ht 阅读全文
posted @ 2023-07-01 17:53 Norni 阅读(48) 评论(0) 推荐(0) 编辑
摘要:背景 当我在使用IDEA本地连接服务器spark服务时,虽然拷贝了hive-site.xml,提供了相应的依赖,仍然报错:org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism 依赖如下: <dependencies> <depe 阅读全文
posted @ 2021-12-07 12:52 Norni 阅读(300) 评论(0) 推荐(0) 编辑
摘要:报错信息如下 原因分析 主要是没有在Spark配置hive的配置文件,把hive配置的hive-site.xml文件拷贝到spark目录下即可 mv ../hive/conf/hive-site.xml ../spark/conf/hive-site.xml 说明: 如果报JDBC错误,还需要将.. 阅读全文
posted @ 2021-12-05 10:59 Norni 阅读(141) 评论(0) 推荐(0) 编辑
摘要:背景 将HBase的基础信息,配置完毕后,访问http://pc001:16010时,网页端无法访问 分析 查看对应的启动log日志:tail -f /opt/software/hbase-1.3.1/logs/hbase-nuochengze-master-pc001.log 发现自己的**$HB 阅读全文
posted @ 2021-10-13 15:22 Norni 阅读(460) 评论(0) 推荐(0) 编辑
摘要:问题描述 使用Sqoop从mysql导入数据到hive报错:Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly 分析 对于HiveConf.class类是存在的 措 阅读全文
posted @ 2021-10-12 22:41 Norni 阅读(42) 评论(0) 推荐(0) 编辑
摘要:背景 在启动完成hive服务:hive --service metastore后 启动hive2服务的过程中:hive --service hiveserver2后 启动beeline客户端时,beeline -u jdbc:hive2://pc001:10000 -n nuochengze 报错: 阅读全文
posted @ 2021-09-27 16:04 Norni 阅读(234) 评论(0) 推荐(0) 编辑
摘要:背景 在启动完成hive服务:hive --service metastore后 启动hive2服务的过程中:hive --service hiveserver2时 报错:java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfig 阅读全文
posted @ 2021-09-27 15:32 Norni 阅读(1094) 评论(0) 推荐(1) 编辑
摘要:背景 当配置了hive元数据访问后,启动元数据服务hive --service metastore,再开窗口使用hive报错: FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.had 阅读全文
posted @ 2021-09-27 12:29 Norni 阅读(1379) 评论(0) 推荐(0) 编辑
摘要:背景 在配置完hive的hive.metastore.uris之后,报错 Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport. 阅读全文
posted @ 2021-09-27 12:21 Norni 阅读(2255) 评论(0) 推荐(0) 编辑
摘要:背景 使用hive的过程中,本身存在一个metastore的情况下,初始化元数据库 解决措施 删除元数据库,后新建一个 结果 schematool -initSchema -dbType mysql -verbose 阅读全文
posted @ 2021-09-27 11:45 Norni 阅读(6906) 评论(0) 推荐(0) 编辑
摘要:背景 在使用hive元数据服务方式访问hive时,使用jdbc连接到mysql时提示错误: java.sql.SQLNonTransientConnectionException: Public Key Retrieval is not allowed 原因分析 如果用户使用了 sha256_pas 阅读全文
posted @ 2021-09-27 11:33 Norni 阅读(4065) 评论(0) 推荐(1) 编辑
摘要:系统要求在hdfs上用户应该具备写权限,而从报错可以看出只有所有者具有写权限,所有组合其他用户不具备。 修改用户权限 hadoop fs -chmod -R 777 /tmp 阅读全文
posted @ 2021-09-27 11:00 Norni 阅读(193) 评论(0) 推荐(0) 编辑
摘要:报错信息 解决措施 安装ntpdate工具进行时间同步 sudo yum install ntp ntpdate -y 设置系统时间与网络时间同步 sudo ntpdate cn.pool.ntp.org 阅读全文
posted @ 2021-09-24 15:40 Norni 阅读(183) 评论(0) 推荐(0) 编辑
摘要:报错信息如下 原因分析 集群中运行的container尝试使用更多的内存 ,但是被NodeManager给中断了 解决措施 配置所需内存大小 在/opt/software/hadoop-3.1.3/etc/hadoop/下的mapred-site.xml中添加如下配置:(其中的数字大小可以根据自己电 阅读全文
posted @ 2021-09-17 11:49 Norni 阅读(65) 评论(0) 推荐(0) 编辑
摘要:报错信息截图 解决措施 按提示所言,相关的类路径信息不全 获取所有的类路径 hadoop classpath 然后在etc/hadoop/mapred-site.xml中加入下面这个标签。其中<value>里面的值就是上面hadoop classpath运行后的输出内容 <property> <na 阅读全文
posted @ 2021-09-16 23:02 Norni 阅读(274) 评论(0) 推荐(0) 编辑
摘要:报错信息截图 可以很明确的看到报错信息,/bin/java未生效,原因是我是用的配置环境的方式使用的jdk,未采用yum过进行安装jdk 解决措施:创建真实的jdk目录到/bin/java 创建软链接 ln -s /opt/software/jdk1.8.0_201/bin/java /bin/ja 阅读全文
posted @ 2021-09-16 22:50 Norni 阅读(1295) 评论(0) 推荐(0) 编辑
摘要:主机的hostname不合法,修改为不包含着‘.’ '/' '_'等非法字符 阅读全文
posted @ 2021-06-14 21:25 Norni 阅读(78) 评论(0) 推荐(0) 编辑
摘要:错误示例 在$HADOOP_HOME/sbin/start-yarn.sh文件中添加root用户的定义 YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root HDFS_NAMENODE 阅读全文
posted @ 2021-06-14 19:41 Norni 阅读(292) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示