Git创建远程分支
摘要：idea示例： 步骤一： 1.1菜单选择如下： 1.2新建分支 并输入名称 步骤二： 新建分支后可以Push 直接提交到远程仓库 （勾选checkout 会把上游的库更新到当前分支，并选择为当前分支） git创建远程分支（使用Git shell命令创建） intellij idea 新建分支 ide
阅读全文
posted @ 2021-07-26 11:35
07 2021 档案
Gihub token登录
摘要：参考： https://www.cnblogs.com/openmind-ink/p/14391521.html https://www.codenong.com/cs109826697/
阅读全文
posted @ 2021-07-23 18:41
Hbase Shell常用命令操作
摘要：一、进入HBase客户端命令行 [atguigu@hadoop102 hbase]$ bin/hbase shell 1．查看帮助命令 hbase(main):001:0> help 2．通用命令 hbase(main):002:0> list --提供HBase的状态，例如，服务器的数量。 sta
阅读全文
posted @ 2021-07-23 17:32
MySQL Binlog解析工具MaxWell详解
摘要：修改配置文件： [atone@hadoop102 maxwell-1.25.0]$ cp config.properties.example config.properties 修改配置文件 producer=kafka kafka.bootstrap.servers=hadoop102:9092,
阅读全文
posted @ 2021-07-19 11:52
大数据kafka理论实操面试题
摘要：待续、。。 参考： 大数据kafka理论实操面试题
阅读全文
posted @ 2021-07-15 17:32
Hadoop YARN资源管理-容量调度器详解
摘要：注意： 根据经验，使用容量调度器是最重要的两点是容量平衡占用百分比和弹性。（注意各个分层队列【父队列和子队列之间的比例配置】之间的容量配置） 这两者之间有一个折中：如果设置刚性容器限制(配置最大容量)，则队列变得不那么有弹性，从而背离了容量调度器的关键目标之一。 容量计划支持以下功能： 等级队列-
阅读全文
posted @ 2021-07-15 17:03
Kafka Offset相关命令总结
摘要：待续。。。 参考： Kafka Offset相关命令总结
阅读全文
posted @ 2021-07-14 17:23
Kafka "-daemon" 参数启动
摘要：示例启动方式： bin/kafka-server-start.sh -daemon config/server.properties bin/kafka-server-start.sh -daemon config/server-1.properties bin/kafka-server-start
阅读全文
posted @ 2021-07-14 16:26
Oozie调度hive报错The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
摘要：首先检验Hive元数据是否正常，如果Hive元数据正常使用，请在oozie配置文件workflow.xml中增加配置： <property> <name>hive.metastore.uris</name> <value>thrift://192.168.2.21:9083</value> </pr
阅读全文
posted @ 2021-07-09 18:05
Kafka 重置偏移量到某个时间点
摘要：示例（注意UTC时区问题，与国内差8个小时）： kafka-consumer-groups.sh 使用 –to-datetime 参数可以做到，需要注意这个–to-datetime是utc时间，需要减去8个小时。 bin/kafka-consumer-groups.sh --bootstrap-se
阅读全文
posted @ 2021-07-09 11:48
Kafka底层原理剖析
摘要：如何确定kafka各个节点是否在一个kafka集群中，是由指定的zookeeper确定的，如果几台kafka中的配置文件server.properties 中指定的地址是同一Zk地址，则这几台kafka节点同属于一个kafka集群 Kafka底层原理剖析
阅读全文
posted @ 2021-07-09 11:36
Hadoop中的jobhistory配置与启动停止
摘要：jobhistory的配置 1、在yarn-site.xml中添加 <!-- 开启日志聚合 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> 2.在mapred-site.x
阅读全文
posted @ 2021-07-09 10:29
ClickHouse 命令行客户端详解
摘要：参考官网： https://clickhouse.tech/docs/zh/interfaces/cli/
阅读全文
posted @ 2021-07-07 17:44
实时计算 Flink 版 + Hologres，亿级用户实时 UV 精确去重最佳实践
摘要：实时计算 Flink 版 + Hologres，亿级用户实时 UV 精确去重最佳实践
阅读全文
posted @ 2021-07-06 18:47
Flume报错：ERROR hdfs.HDFSEventSink: process failed java.lang.NoSuchMethodError: org.apache.hadoop.ipc.RPC.getProtocolProx
摘要：报错日志： 21/07/06 12:07:54 ERROR hdfs.HDFSEventSink: process failed java.lang.NoSuchMethodError: org.apache.hadoop.ipc.RPC.getProtocolProxy(Ljava/lang/Cl
阅读全文
posted @ 2021-07-06 14:08
Flume参数说明及其他
摘要：普通启动flume：nohup bin/flume-ng agent --conf-file conf/kafka_flume_hdfs.conf --name a2 -Dflume.pirate.logger=INFO,LOGFILE >/home/pirate/programs/flume/lo
阅读全文
posted @ 2021-07-06 12:59
多次format namenode后，datanode无法正常启动
摘要：DataNode报错日志如下： 2021-07-05 16:30:53,595 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Dat
阅读全文
posted @ 2021-07-05 18:14
