Flink——Side Output侧输出流
摘要：Flink——Side Output侧输出流
阅读全文
posted @ 2021-05-31 10:27
05 2021 档案
Hadoop hdfs dfs常用命令的使用
摘要：拷贝命令 -cp 在HDFS文件系统中，将文件或目录复制到目标路径下Usage：hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>选项：-f选项覆盖已经存在的目标。-p选项将保留文件属性[topx]（时间戳，所有权，权限，ACL，XAt
阅读全文
posted @ 2021-05-27 15:21
Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime', or did you forget to call 'DataStream.assignTimestampsAndWatermarks(...)'
摘要：Flink启动报错日志如下： Caused by: java.lang.RuntimeException: Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to '
阅读全文
posted @ 2021-05-24 15:16
windows下使用nc工具测试StreamWordCount数据
摘要：在windows下监听端口正确命令是： nc -l -p 9999 参考： https://www.dtmao.cc/news_show_811497.shtml
阅读全文
posted @ 2021-05-24 14:53
Linux解决 -bash: nc: command not found问题
摘要：[hadoop@hadoop001 conf]$ nc -lk 9999 -bash: nc: command not found 从提示信息中我们可以知道，是由于nc命令无法被找到没有配置nc的命令解决：[root@hadoop001 ~]# yum install -y nc Linux解决 -
阅读全文
posted @ 2021-05-24 11:21
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
摘要：Flink On Yarn模式启动报错： [root@hadoop01 flink-1.12.0]# bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 -d -s 2 Error: A JNI error has occurred, please check yo
阅读全文
posted @ 2021-05-23 13:02
flink配置参数
摘要：https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/config.html
阅读全文
posted @ 2021-05-21 18:12
Joins in Continuous Queries
摘要：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/streaming/joins.html
阅读全文
posted @ 2021-05-21 18:10
Linux中的tar命令
摘要：首先要弄清两个概念： 1、打包和压缩。打包是指将一大堆文件或目录变成一个总的文件； 2、压缩则是将一个大的文件通过一些压缩算法变成一个小文件。 为什么要区分这两个概念呢？这源于Linux中很多压缩程序只能针对一个文件进行压缩，这样当你想要压缩一大堆文件时，你得先将这一大堆文件先打成一个包（tar命令
阅读全文
posted @ 2021-05-21 16:18
Table API&SQL和常见问题总结
摘要：官网参考： Table API & SQL 常见问题总结： 问题一： Exception in thread "main" org.apache.flink.table.api.ValidationException: Unable to create a sink for writing tabl
阅读全文
posted @ 2021-05-20 17:05
Flink On Yarn的两种模式及高可用搭建
摘要：https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/resource-providers/yarn.html Flink on Yarn两种模式启动参数及在Yarn上的恢复 flink on yarn
阅读全文
posted @ 2021-05-20 10:30
MySQL如何开启binlog
摘要：首先找到my.cnf配置文件位置： 执行命令： mysql --help | grep 'Default options' -A 1 第一个文件 /etc/my.cnf 即为配置文件 #第一种方式: #开启binlog日志 log_bin=ON #binlog日志的基本文件名 log_bin_bas
阅读全文
posted @ 2021-05-19 15:24
Flume对接HBASE报错:NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
摘要：方案一：手动拷贝需要的相关jar包 flume对接HBASE报错，找不到相关的类： 报错hbase相关日志： 18 五月 2021 17:25:50,633 ERROR [lifecycleSupervisor-1-2] (org.apache.flume.lifecycle.LifecycleSu
阅读全文
posted @ 2021-05-18 18:22
HBASE的基本搭建与配置详解
摘要：一脸懵逼学习HBase的搭建（注意HBase的版本） https://blog.csdn.net/maosijunzi/article/details/78481870 https://blog.csdn.net/maosijunzi/article/details/78492740
阅读全文
posted @ 2021-05-17 15:57
从RocksDBStateBackend讲述Flink的State机制
摘要：从RocksDBStateBackend讲述Flink的State机制
阅读全文
posted @ 2021-05-13 17:24
在本地shell脚本中ssh到远程服务器并执行命令
摘要：shell远程执行： 经常需要远程到其他节点上执行一些shell命令，如果分别ssh到每台主机上再去执行很麻烦，因此能有个集中管理的方式就好了。 一下介绍两种shell命令远程执行的方法。 前提条件： 配置ssh免密码登陆 对于简单的命令： 如果是简单执行几个命令，则： ssh user@remot
阅读全文
posted @ 2021-05-12 16:31
人穷，志不穷
摘要：人在没钱时，才能看懂一切， 没有了钱，你就没有了底气， 就没有了更多的向往。你要明白， 一切都要靠自己争取，你不努力， 你不强大，谁替你软弱。 人生这一辈子，靠的就是自己， 不要想着靠别人，人生的路， 好好走，失败不要紧， 没钱也没关系，人穷但不能志短！
阅读全文
posted @ 2021-05-09 23:28
竹杖芒鞋轻胜马，谁怕？一蓑烟雨任平生
摘要：竹杖芒鞋轻胜马，谁怕？一蓑烟雨任平生 成大气候的，都得有本事，得有大勇，不学习不成，山不向我走来，我便向他走去。
阅读全文
posted @ 2021-05-09 23:25
基于Canal与Flink实现数据实时增量同步
摘要：基于Canal与Flink实现数据实时增量同步（1） 基于Canal与Flink实现数据实时增量同步（2）
阅读全文
posted @ 2021-05-08 15:43
