RICH-ATONE

2021年7月9日 #

Oozie调度hive报错The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.

摘要： 首先检验Hive元数据是否正常，如果Hive元数据正常使用，请在oozie配置文件workflow.xml中增加配置： <property> <name>hive.metastore.uris</name> <value>thrift://192.168.2.21:9083</value> </pr 阅读全文

posted @ 2021-07-09 18:05 RICH-ATONE 阅读(228) 评论(0) 推荐(0) 编辑

Kafka 重置偏移量到某个时间点

摘要： 示例（注意UTC时区问题，与国内差8个小时）： kafka-consumer-groups.sh 使用 –to-datetime 参数可以做到，需要注意这个–to-datetime是utc时间，需要减去8个小时。 bin/kafka-consumer-groups.sh --bootstrap-se 阅读全文

posted @ 2021-07-09 11:48 RICH-ATONE 阅读(1270) 评论(0) 推荐(0) 编辑

Kafka底层原理剖析

摘要： 如何确定kafka各个节点是否在一个kafka集群中，是由指定的zookeeper确定的，如果几台kafka中的配置文件server.properties 中指定的地址是同一Zk地址，则这几台kafka节点同属于一个kafka集群 Kafka底层原理剖析 阅读全文

posted @ 2021-07-09 11:36 RICH-ATONE 阅读(157) 评论(0) 推荐(0) 编辑

Hadoop中的jobhistory配置与启动停止

摘要： jobhistory的配置 1、在yarn-site.xml中添加 <!-- 开启日志聚合 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> 2.在mapred-site.x 阅读全文

posted @ 2021-07-09 10:29 RICH-ATONE 阅读(732) 评论(0) 推荐(0) 编辑

导航