RICH-ATONE

摘要： 访问8088端口或者使用hdfs命令 yarn node -list -all 查看 nodemanger处于Unhealthy Nodes状态 查看Hadoop中的yarn日志如下 df -h查看磁盘剩余量，发现不到10% 把磁盘降到90%以下，问题解决 参考： https://blog.csdn 阅读全文

摘要： 一、在使用匿名内部类的过程中，我们需要注意如下几点： 1、使用匿名内部类时，我们必须是继承一个类或者实现一个接口，但是两者不可兼得，同时也只能继承一个类或者实现一个接口。 2、匿名内部类中是不能定义构造函数的。 3、匿名内部类中不能存在任何的静态成员变量和静态方法。 4、匿名内部类为局部内部类（即方 阅读全文

摘要： 导致这个错误的原因主要是因为jdk版本问题，此处有两个原因，一个是编译版本不匹配，一个是当前项目jdk版本不支持。（主要分为：项目JDK版本、工程JDK版本、编译JDK版本） 参考： https://blog.csdn.net/wo541075754/article/details/82119860 阅读全文

摘要： 参考：java基础知识体系 阅读全文

摘要： 本地调试么？确认一下下面的问题 一般先调试sink表的 connector换print 打印一下： 1. 是earliest还是latest 2. auto.commit 是true还是false 3. source改成 socket输入试试逻辑有没问题 示例代码参考： CREATE TABLE t 阅读全文

摘要： 参考：工具详解 - Git 详解 Git常用操作命令 - 代码提交和同步代码： 第零步: 工作区与仓库保持一致 第一步: 文件增删改，变为已修改状态 第二步: git add ，变为已暂存状态 $ git status $ git add --all # 当前项目下的所有更改 $ git add . 阅读全文

摘要： 1、目录配置，实现不了断点续传功能 2、针对采集原始文件实现断点续传（taildir source才有这个断点续传的功能），可以采用多文件进行配置，也可以采用文件通配符进行配置要采集的文件（比如：*.log） 参考： al.sources = r1 a1.channels = c1 a1.sinks 阅读全文

摘要： 一.串行模式 Flume Agent之间相互连接 这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个 阅读全文

摘要： 在flume中事务是一个重要的概念，事务保证了数据的可靠性。这里的事务性和数据库中的事务性有些区别，flume中的事务在回滚时，可能会造成数据重复，所以flume保证的是每条数据最少发送一次，以此来保证数据不丢失。(比如上传文件的过程中HDFS宕机，则会造成HDFS数据重复) Flume的事务性，主 阅读全文

摘要： 问题一：ERROR [PollableSourceRunner-KafkaSource-r2] (org.apache.flume.source.kafka.KafkaSource.doProcess:314) - KafkaSource EXCEPTION, {}org.apache.kafka. 阅读全文