时间的往事

摘要： Scala： .map(x=> JSON.parseObject(x)) .assignTimestampsAndWatermarks( WatermarkStrategy.forBoundedOutOfOrderness[JSONObject](Duration.ofSeconds(3)) .wi 阅读全文

摘要： 在监控中保存某个状态值，但是过一段时间后需要将该值清理掉，防止对业务有影响或者堆积浪费存储空间。 flink提供了状态超时设置。 实例如下： class MyFilter extends RichFilterFunction[JSONObject]{ var dateState: ValueStat 阅读全文

摘要： 1. 美团 - 基于Flink的典型etl场景实现 （1小时） 2. Flink官方提供的企业案例 1） 美团实时数仓平台建设2021新进展 （20分钟） 2）快手实时数仓保障体系研发实战（31分钟） 3）腾讯云原生实时数仓建设实战（24分钟） 4）理想汽车基于Flink的实时数仓0-1建设 （21 阅读全文

摘要： 案例场景：flink实时数仓项目，在建设dwd层时，通过flinkcdc监控配置表。 当在配置表中指定某个业务表的数据发送到phoenix时，就自动将业务数据写入phoenix。 当在配置表中指定某个业务表的数据发送到kafka时，就自动将业务数据发送到kafka。 这样在从源头kafka消费业务数 阅读全文

摘要： 该方法使用的是com.ververica版本的flink-connector-mysql-cdc，另一个版本测试也没问题了，见https://www.cnblogs.com/30go/p/15773357.html。 注意版本，不同版本组合可能会出现一些异常的情况： flink1.12.7 flin 阅读全文

摘要： 之前测试环境用root没这个问题。换到生产环境指定的某个mysql账号出现权限不足： Caused by: java.sql.SQLSyntaxErrorException: Access denied; you need (at least one of) the RELOAD privilege 阅读全文

摘要： 通常情况下，不需要修改/etc/ssh/sshd_config 这个文件，就可以登录成功。但是就会偶发性存在那么怪异的一台，ssh操作一起正常，就是不成功。 1.检查authorized_keys文件权限，并设置为700 chmod 700 authorized_keys 2.检查/etc/ssh/ 阅读全文

摘要： 1. 批量kafka操作脚本 start & stop #! /bin/bash # 批量操作kafka kafka_path=/opt/local/kafka server_list='hadoop200 hadoop201 hadoop202' usage="Usage: $0 (start|s 阅读全文

摘要： 场景应用：将MySQL的变化数据转为实时流输出到Kafka中。 注意版本问题，版本不同可能会出现异常，以下版本测试没问题： flink1.12.7 flink-connector-mysql-cdc 1.3.0（com.alibaba.ververica） （测试时使用1.2.0版本时会出现空指针错 阅读全文

摘要： Spark读取MySQL优化设置： 参考：https://blog.csdn.net/bowenlaw/article/details/108076772 参考官方文档： http://spark.apache.org/docs/2.4.8/sql-data-sources-jdbc.html 阅读全文

摘要： root账号可以通过修改 /etc/security/limits.conf 生效。 但是普通用户除了修改上面外，还需要修改 /etc/security/limits.d/20-nproc.conf 文件生效。 阅读全文

摘要： 统计最近1个小时内的热门商品，并且每隔5分钟更新一次。 在1.10版本中 dataStream.keyBy("itemId").timeWindow(Time.hours(1), Time.minutes(5)) 在flink的1.12之后版本中 dataStream.keyBy(_.itemId) 阅读全文

摘要： 不想看太多的话，直接拉到第二部分操作步骤： 1. 是解决过程： 在flink1.14.0中已经移除sql-client-defaults.yml配置文件了。 参考地址：https://issues.apache.org/jira/browse/FLINK-21454 于是我顺着这个issue找到了F 阅读全文

摘要： 发现自己确实越来越笨，好在解决了。 通常将hive的连接信息和sql语句写在一个脚本里面执行，这样看起来方便，修改起来也方便。 但是最近由于sql语句太长了，所以拆开两部分。一部分是hive的连接，另一部分是sql文件。通过-f传参执行。 beeline --hiveconf mapreduce.j 阅读全文

摘要： 分段函数常用于分箱中，统计分组在指定的区间中的占比。 比如有如下例子：统计某个班级中考试分数在各个阶段的占比。 准备的数据如下： 使用如下文件在hive中建表。 class1,1,100 class1,2,88 class1,3,90 class1,4,23 class1,5,30 class1,6 阅读全文

摘要： 动态刷新hdfs配置：hdfs dfsadmin -fs hdfs://nn1:8020 -refreshSuperUserGroupsConfigurationhdfs dfsadmin -fs hdfs://nn2:8020 -refreshSuperUserGroupsConfiguratio 阅读全文

摘要： 1. 分配路径 先创建要挂在的路径 ，比如要将盘挂到/dfs/data1这个路径下面 mkdir -p /dfs/data1/ 2. 格式化磁盘 mkfs.xfs /dev/sda 3. 挂载磁盘(临时，重启后失效) mount /dev/sda /dfs/data1/ 这一步只是临时挂载，要永久挂 阅读全文

摘要： 表字段中jsonStr是一个json格式的字符串，类似于map结构。{"name”:"king", "age":18, "score":99} 使用str_to_map可以转化为map结构。 str_to_map(regexp_replace(regexp_replace(regexp_replac 阅读全文

摘要： 最近以太坊的分叉，新增了一些字段，原来使用的是老版本 web3j-spring-boot-starter <groupId>org.web3j</groupId> <artifactId>web3j-spring-boot-starter</artifactId> <version>1.6.0</v 阅读全文

摘要： 今天遇到hive表新增字段，以往建表都是建外表，直接drop后，重新创建。 由于这次全部使用内表创建的，所以使用add column功能新增字段。 alter table xy_dw.dw_transaction_eth add columns(type1 string comment '类型'); 阅读全文