Flink对接集合详解
摘要：基于集合 fromCollection(Seq)-从Java Java.util.Collection创建数据流。集合中的所有元素必须具有相同的类型。 fromCollection(Iterator)-从迭代器创建数据流。该类指定迭代器返回的元素的数据类型。 fromElements(element
阅读全文
posted @ 2021-03-29 17:33
03 2021 档案
shell脚本生成一个时间段的日期
摘要：示例： #!/bin/bash start_sec=`date -d "$1" "+%s"` end_sec=`date -d "$2" "+%s"` for((i=start_sec;i<=end_sec;i+=86400)); do day=$(date -d "@$i" "+%Y%m%d")
阅读全文
posted @ 2021-03-29 15:25
Java子类是否要实现父类中所有的抽象方法
摘要：java中普通类继承，抽象类继承，接口类继承，子类一定要重写父类中的方法吗 简单总结，需要重写的有： 普通类继承抽象类，重写所有抽象类方法；（不包括普通方法） 普通类继承接口，重写所有接口方法。（不包括default关键字修饰的方法） 详解见下： 1. 普通类继承，并非一定要重写父类方法。 2. 抽
阅读全文
posted @ 2021-03-28 18:00
scala中 object 和 class的区别
摘要：scala中 object 和 class的区别： object 在scala中没有静态方法和静态字段，所以在scala中可以用object来实现这些功能，直接用对象名调用的方法都是采用这种实现方式，例如Array.toString。对象的构造器在第一次使用的时候会被调用，如果一个对象从未被使用，那
阅读全文
posted @ 2021-03-26 18:48
scala中的apply方法与unapply方法
摘要：参考： https://twitter.github.io/scala_school/zh_cn/basics2.html https://blog.csdn.net/bitcarmanlee/article/details/76736252
阅读全文
posted @ 2021-03-26 18:02
Scala中的样例类详解
摘要：Scala中的样例类详解： 样例类Case Class Case Class一般被翻译成样例类，它是一种特殊的类，能够被优化以用于模式匹配。 当一个类被声名为case class的时候，scala会帮助我们做下面几件事情： 1、构造器中的参数如果不被声明为var的话，它默认的是val类型的，但一般不
阅读全文
posted @ 2021-03-26 18:00
Hadoop搭建配置参数调优
摘要：HDFS参数调优参考 在hdfs-site.xml里面配置： (1)dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群规模为8台时，此参数设置为60 NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元
阅读全文
posted @ 2021-03-26 14:57
Flume的JVM优化策略
摘要：当使用Flume遇到内存溢出等异常时，可参照以下调整你的jvm参数即可. 可用 ps -aux | grep flume查看Flume进程使用了多少内存. 一、 vi bin/flume-ng 修改JAVA_OPTS="-Xmx20m" (默认为20m) 这段是head的最大值 (涉及jvm知识请自
阅读全文
posted @ 2021-03-26 14:53
Linux中的grep -R命令详解
摘要：R的意思是递归的对目录下的所有文件（包括子目录）进行 grep。 比如 grep -R main src就会搜索src目录下所有文件中是否包含 main 这个字符串。 因此grep -R "main" *.c 中的 -R 是没有意义的，因为你输入参数是 *.c 而不是目录名字。 参考： https:
阅读全文
posted @ 2021-03-25 18:15
Hadoop集群Unhealthy Nodes导致计算能力下降解决方法 （nodemanager处于Unhealthy Nodes）
摘要：访问8088端口或者使用hdfs命令 yarn node -list -all 查看 nodemanger处于Unhealthy Nodes状态 查看Hadoop中的yarn日志如下 df -h查看磁盘剩余量，发现不到10% 把磁盘降到90%以下，问题解决 参考： https://blog.csdn
阅读全文
posted @ 2021-03-11 18:51
Java匿名内部类详解
摘要：一、在使用匿名内部类的过程中，我们需要注意如下几点： 1、使用匿名内部类时，我们必须是继承一个类或者实现一个接口，但是两者不可兼得，同时也只能继承一个类或者实现一个接口。 2、匿名内部类中是不能定义构造函数的。 3、匿名内部类中不能存在任何的静态成员变量和静态方法。 4、匿名内部类为局部内部类（即方
阅读全文
posted @ 2021-03-05 18:54
Error:java: Compilation failed: internal java compiler error 解决办法
摘要：导致这个错误的原因主要是因为jdk版本问题，此处有两个原因，一个是编译版本不匹配，一个是当前项目jdk版本不支持。（主要分为：项目JDK版本、工程JDK版本、编译JDK版本） 参考： https://blog.csdn.net/wo541075754/article/details/82119860
阅读全文
posted @ 2021-03-05 15:45
使用flink SQL对接kafka 时，日志不报错，也没有数据输出，原因有哪几个方面
摘要：本地调试么？确认一下下面的问题 一般先调试sink表的 connector换print 打印一下： 1. 是earliest还是latest 2. auto.commit 是true还是false 3. source改成 socket输入试试逻辑有没问题 示例代码参考： CREATE TABLE t
阅读全文
posted @ 2021-03-02 10:24
Git详解参考
摘要：参考：工具详解 - Git 详解 Git常用操作命令 - 代码提交和同步代码： 第零步: 工作区与仓库保持一致 第一步: 文件增删改，变为已修改状态 第二步: git add ，变为已暂存状态 $ git status $ git add --all # 当前项目下的所有更改 $ git add .
阅读全文
posted @ 2021-03-01 17:32
