2020年3月30日
【异常】mysql导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly
摘要： sqoop导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly。 首先检查HiveConf类是否存在：[hadoop@hadoop01 app]$ 阅读全文
posted @ 2020-03-30 21:36 lemon胡 阅读(493) 评论(0) 推荐(0) 编辑
【异常】Sqoop导出Mysql数据进Hive异常：NoClassDefFoundErrot:org/jeson/JSONObject
摘要： 异常：Sqoop导入hive表出现的异常NoClassDefFoundErrot:org/jeson/JSONObject： 这是因为sqoop缺少java-json.jar包. 下载jar包导入sqoop的lib目录下 http://www.java2s.com/Code/Jar/j/Downlo 阅读全文
posted @ 2020-03-30 21:35 lemon胡 阅读(170) 评论(0) 推荐(0) 编辑
【Sqoop】介绍、安装、使用（列出MySQL中数据库/表 + mysql数据导入到Hive表 + Hive表数据导出到mysql表）
摘要： 目录 一、介绍 二、安装 三、使用 1、列出MySQL中所有的数据库 2、列出MySQL指定数据库下的所有表 3、将MySQL表数据导入进Hive表 4、将Hive表数据导出进MySQL表 一、介绍 功能：Sqoop是一个采集工具。类似于Flume，但是Flume是从一些日志中采集信息，Sqoop是 阅读全文
posted @ 2020-03-30 21:32 lemon胡 阅读(726) 评论(0) 推荐(0) 编辑
2020年3月26日
【异常】MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on di
摘要： redis设置值异常：127.0.0.1:6379> set name 12(error) MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Comm 阅读全文
posted @ 2020-03-26 22:32 lemon胡 阅读(382) 评论(0) 推荐(0) 编辑
【异常】Flume启动卡主异常：Agent configuration for 'a2' does not contain any valid channels. Marking it as invalid.
摘要： Flume启动的时候出现异常：Agent configuration for 'a2' does not contain any valid channels. Marking it as invalid 提示的问题是不能识别channel，那么该如何思考呢： 1）conf中channel或者其他关 阅读全文
posted @ 2020-03-26 18:13 lemon胡 阅读(2411) 评论(0) 推荐(0) 编辑
2020年3月25日
【异常】转载 kafka.common.MessageSizeTooLargeException
摘要： kafka单条消息过大导致生产者程序发送到broker失败：kafka.common.MessageSizeTooLargeException 今天碰到一个问题，kafka生产者罢工停止生产了，而且生产者的内存急剧升高，导致程序几次重启。查看日志，才发现生产者程序爆出异常kafka.common.M 阅读全文
posted @ 2020-03-25 16:07 lemon胡 阅读(1934) 评论(1) 推荐(0) 编辑
【异常】转载 ERROR KafkaProducer - Batch containing 11 record(s) expired due to timeout while
摘要： 背景：Kafka集群在一个192.168.0.x网段的，而我们的生产者在192.168.17.x网段的一台机器上。故当生产者发送消息给Kafka时，无法将消息发送过去。 错误：11:21:13,936 ERROR KafkaProducer - Batch containing 11 record( 阅读全文
posted @ 2020-03-25 16:05 lemon胡 阅读(716) 评论(0) 推荐(1) 编辑
【异常】转载 如何优雅地关闭kafka
摘要： 很多同学可能无法通过kafka上面自带的脚本kafka-server-stop.sh来停掉broker。这个主要原因是该脚本找不到kafka的PID。 本节主要就介绍如何解决这种问题。解决办法： 1）修改前脚本内容： 2）修改后脚本内容： 参考：https://kaimingwan.com/post 阅读全文
posted @ 2020-03-25 15:55 lemon胡 阅读(3413) 评论(0) 推荐(0) 编辑
【异常】转载 KAFKA生产者数据丢失问题的排查
摘要： 1）如何定位到是写入端丢失数据的，而不是YDB消费者端丢失数据的？ kafka支持数据的重新回放的功能(换个消费group)，我们清空了ydb的所有数据，重新用kafka回放了原先的数据。 如果是在ydb消费端丢失数据，那么第二遍回放数据的结果，跟第一次消费的数据在条数上肯定会有区别,完全一模一样的 阅读全文
posted @ 2020-03-25 15:52 lemon胡 阅读(1397) 评论(0) 推荐(0) 编辑
2020年3月21日
【异常】java.lang.ClassCastException: org.apache.spark.rdd.ShuffledRDD cannot be cast to org.apache.spark.streaming.kafka010.HasOffsetRanges
摘要： 对应出异常的代码是：val offsetRanges: Array[OffsetRange] = rdd.asInstanceOf[HasOffsetRanges].offsetRanges 做foreachRDD的DStream必须是直接从KafkaUtils.createDirectStream 阅读全文
posted @ 2020-03-21 18:42 lemon胡 阅读(1317) 评论(0) 推荐(0) 编辑
下一页