RICH-ATONE

04 2021 档案

Hadoop Exporter 监控参考
摘要：HADOOP-promethues监控 Hadoop Exporter开源项目开发指南 https://github.com/opsnull/hadoop_jmx_exporter （on use） 阅读全文

posted @ 2021-04-29 18:53 RICH-ATONE 阅读(174) 评论(0) 推荐(0) 编辑

canal详解参考
摘要：https://github.com/alibaba/canal/wiki/QuickStart https://github.com/alibaba/canal/wiki/AdminGuide https://www.cnblogs.com/yjmyzz/p/canal-standalone-tu 阅读全文

posted @ 2021-04-29 18:17 RICH-ATONE 阅读(152) 评论(0) 推荐(0) 编辑

Hive UDF处理特殊字符[\x22、urlencode等编码问题
摘要：如果你的函数读和返回都是基础数据类型（Hadoop&Hive 基本writable类型，如Text,IntWritable,LongWriable,DoubleWritable等等），那么简单的API（org.apache.hadoop.hive.ql.exec.UDF）可以胜任 但是，如果你想写一 阅读全文

posted @ 2021-04-28 16:39 RICH-ATONE 阅读(845) 评论(0) 推荐(0) 编辑

Flink中的WaterMark详解
摘要：//参考官网指定时间戳，直接使用lambda表达式获取 WatermarkStrategy.<Tuple3<Long,String,Integer>>forBoundedOutOfOrderness(Duration.ofSeconds(20)) .withTimestampAssigner((ev 阅读全文

posted @ 2021-04-24 17:03 RICH-ATONE 阅读(232) 评论(0) 推荐(0) 编辑

idea如何清晰地查看java类的继承结构
摘要：idea如何清晰地查看java类的继承结构 使用IntelliJ IDEA查看类的继承关系图形 阅读全文

posted @ 2021-04-23 15:28 RICH-ATONE 阅读(116) 评论(0) 推荐(0) 编辑

Kafka集群启停脚本参考
摘要：对kafka-server-start.sh脚本和kafka-server-stop.sh脚本进行二次封装 #! /bin/bash # Kafka代理节点地址, 如果节点较多可以用一个文件来存储 hosts=(dn1 dn2 dn3) # 打印启动分布式脚本信息 mill=`date "+%N"` 阅读全文

posted @ 2021-04-22 18:32 RICH-ATONE 阅读(238) 评论(0) 推荐(0) 编辑

Linux-shell-完全详解（3）
摘要：Linux-shell-完全详解（3） 阅读全文

posted @ 2021-04-22 18:28 RICH-ATONE 阅读(94) 评论(0) 推荐(0) 编辑

深入理解Java Class对象
摘要：一、深入理解Java类型信息(Class对象) RTTI（Run-Time Type Identification）运行时类型识别，对于这个词一直是 C++ 中的概念，至于Java中出现RRTI的说法则是源于《Thinking in Java》一书，其作用是在运行时识别一个对象的类型和类的信息。这里 阅读全文

posted @ 2021-04-22 18:25 RICH-ATONE 阅读(477) 评论(0) 推荐(0) 编辑

java泛型详解
摘要：参考： Java泛型详解：<T>和Class<T>的使用。泛型类，泛型方法的详细使用实例 阅读全文

posted @ 2021-04-22 18:04 RICH-ATONE 阅读(117) 评论(0) 推荐(0) 编辑

Flink Window——ReduceFunction、AggregateFunction、ProcessWindowFunction窗口函数详解
摘要：1.使用 ReduceFunction函数 让两个元素结合起来，产生一个相同类型的元素，它是增量的，放在KeyBy函数之后 package flink.java.test; import org.apache.flink.api.common.functions.ReduceFunction; im 阅读全文

posted @ 2021-04-18 19:20 RICH-ATONE 阅读(1307) 评论(0) 推荐(0) 编辑

Reduce函数详解
摘要：参考： Spark Scala当中reduce的用法和例子 Python中的reduce函数 阅读全文

posted @ 2021-04-18 18:30 RICH-ATONE 阅读(294) 评论(0) 推荐(0) 编辑

Java数组遍历的几种方式
摘要：数组遍历方式参考： 方法一：for循环遍历 public static void main(String[] args) { int Arr[][]={{1,2,3},{4,5,6}}; for (int i = 0; i < Arr.length; i++) { for (int j = 0; j 阅读全文

posted @ 2021-04-15 14:59 RICH-ATONE 阅读(3957) 评论(0) 推荐(0) 编辑

Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock
摘要：集群入库hive报错： Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-433041383-192.168.10.249-1494331993586:blk_1116615973_42940 阅读全文

posted @ 2021-04-14 14:59 RICH-ATONE 阅读(286) 评论(0) 推荐(0) 编辑

flume到底会丢数据吗？
摘要：什么时候最容易出问题呢？——flush到HDFS的时候组容易出问题 Flume的两套事务流程，确保不丢数据（一下针对FileChannel）： Put事务：可以理解为Source和Channel为一个整体的事务（比如说，source对接kafka，真正到了Channel(Sink? 根据监控来看，应 阅读全文

posted @ 2021-04-14 14:50 RICH-ATONE 阅读(529) 评论(0) 推荐(0) 编辑

hadoop节点磁盘损坏
摘要：节点是否损坏，可以查看集群web界面，如果损坏，等运维更换为新的磁盘后，需要更新配置； 执行如下命令： hdfs dfsadmin -reconfig datanode 192.168.10.231:50010 start 如果上述命令不起作用，更新不了磁盘，则重启hadoop即可； 参考：http 阅读全文

posted @ 2021-04-13 18:42 RICH-ATONE 阅读(511) 评论(0) 推荐(0) 编辑

CoProcessFunction(双流处理)
摘要：参考： Flink处理函数实战之五：CoProcessFunction(双流处理) 阅读全文

posted @ 2021-04-13 18:14 RICH-ATONE 阅读(147) 评论(0) 推荐(0) 编辑

Flink 报错：The generic type parameters of 'Tuple2' are missing. In many cases lambda methods don't provide enough information for automatic type extraction when Java generics are involved
摘要：针对flink中的算子为什么要返回指定的类型，不然的话报错比如(Tuple，KeyBy) 函数的输入i和输出参数的类型map()无需声明，因为它们是Java编译器推断的。有的则使Flink无法自动推断输出类型的类型信息。 常见报错信息： org.apache.flink.api.common.fun 阅读全文

posted @ 2021-04-13 10:48 RICH-ATONE 阅读(2386) 评论(0) 推荐(0) 编辑

Kafka常用命令
摘要：启动Kafka：/export/servers/zookeeper/bin/zkServer.sh startnohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties & 停用 阅读全文

posted @ 2021-04-12 10:34 RICH-ATONE 阅读(138) 评论(0) 推荐(0) 编辑

java 接口实现和继承关系
摘要：1.简单的理解为： java中的类和类（包含抽象类）之间是继承（extends）的关系。 java中的类和接口直接为实现（implements）关系 。 2.继承和实现的区别： ①接口可以进行多实现（implements）。类直接单继承（extends），继承在java中具有单根性,子类只能继承一个 阅读全文

posted @ 2021-04-11 10:17 RICH-ATONE 阅读(1194) 评论(0) 推荐(0) 编辑

Hadoop中的DataNode直接宕机(进入安全模式)或者节点再次上线造成副本过多产生的问题
摘要：HDFS如何检测并删除多余副本块 查看修复HDFS中丢失的块 &HDFS block丢失过多进入安全模式（safe mode）的解决方法 阅读全文

posted @ 2021-04-08 14:13 RICH-ATONE 阅读(335) 评论(0) 推荐(0) 编辑

java中的volatile关键字
摘要：参考： https://baijiahao.baidu.com/s?id=1595669808533077617&wfr=spider&for=pc https://www.cnblogs.com/ustc-anmin/p/11434769.html 阅读全文

posted @ 2021-04-07 22:09 RICH-ATONE 阅读(98) 评论(0) 推荐(0) 编辑

Java面试题及答案整理（持续更新）
摘要：https://zhuanlan.zhihu.com/p/358925051 阅读全文

posted @ 2021-04-06 18:19 RICH-ATONE 阅读(114) 评论(0) 推荐(0) 编辑

java对象 POJO及JavaBean详解
摘要：一、POJO的内在含义是指那些: 1、有一些private的参数作为对象的属性，然后针对每一个参数定义get和set方法访问的接口。 2、没有从任何类继承、也没有实现任何接口，更没有被其它框架侵入的java对象。 二、什么是JavaBean： JavaBean是一个遵循特定写法的Java类，它通常具 阅读全文

posted @ 2021-04-01 14:04 RICH-ATONE 阅读(372) 评论(0) 推荐(0) 编辑

java中的 Lombok用法
摘要：https://juejin.cn/post/6844903557016076302 阅读全文

posted @ 2021-04-01 13:45 RICH-ATONE 阅读(104) 评论(0) 推荐(0) 编辑

导航

统计信息

点击右上角即可分享
微信分享提示