Flink监控看板Dashboard解析
一、
二、常见问题排查
1、数据反压 背压(Backpressure)机制排查
点击JobName
点击某个算子
点击Backpressure查看，状态为HIGH时，则存在数据反压问题
注：若流程为A->B->C->D->E->F ，BCDEF出现反压(即这里status为high)，则表示A处理流程导致 B->C->D->E->F 相继慢
查看背压：当DAG的某个过程的背压状态为 low 或者 high 时，则说明下游的处理速度不及上游的输出速度。也就是说 下游的处理是整个任务的瓶颈所在，需要进行优化处理
2、数据倾斜
路径：点击JobName->点击某个算子->SubTasks看每个节点处理数据量。处理不均匀会导致部分窗口数据处理缓慢
处理方式：
数据标记分流[详细代码见通用优化]
窗口优化[详细代码见通用优化]
在不影响逻辑的前提下，keyby对数据分流时选择较为均匀的数据。
3、消费滞后
现象：尚未出现数据反压和数据倾斜的状况，但是flink的watermarks追不上实时时间，不能实时处理
需单进程确认点
flink读取的数据是否产生的及时
窗口Aggregate处理是否存在死循环或较慢的点(如：正则/redis/http等)
flink计算结果的输出处理慢。 (如：使用.disablechain.addsink()后再在dashboard中查看窗口和输出分别处理的速率)
优化方式：将窗口的处理逻辑优化的简单一些，将较长时间的处理放在数据处理部分或windowFunction部分
4、在窗口内做大量的外连情况，如redis/es等，redis连接过多会慢或直接报错
解决方案1：可以在窗口外面申请全局redis连接池作为全局变量
查看代码
class MyProcessWindowFunction extends RichWindowFunction[Accumulator,String,String,TimeWindow] {
@transient var config_redis = new JedisPoolConfig()
config_redis.setMaxTotal(300)
config_redis.setMaxWaitMillis (2*1000)
@transient var jedisPool = new JedisPool(config_redis,"10.10.10.10.",1234,0,"yourpassword")
@transient var client = Esinit() // 此处为es外联的申明
@transient var log = LoggerFactory.getLogger(getClass)
//其他的一些全局变量也可以在这里定义，如log
LoginCheck_api.KeepSession()
//检查保持状态的函数也可以在这里处理，这样不会每个窗口都处理一遍。
override def apply (key: String, window: TimeWindow, input: Iterable[Accumulator], out: Collector[String]): Unit = {
...
//窗口如果定义为null则重新做定义
if(jedisPool==null){
w_log = LoggerFactory.getLogger(getClass)
config_redis = new JedisPoolConfig()
config_redis.setMaxTotal(300)
config_redis.setMaxWaitMillis (2*1000)
jedisPool = new JedisPool(config_redis,"10.10.10.10.",1234,0,"yourpassword")
LoginCheck_api.KeepSession()
}
if(client==null){
client = Esinit()
}
...问题2：网络延时问题
查看代码
class MyProcessWindowFunction extends RichWindowFunction[Accumulator,String,String,TimeWindow] {
@transient var config_redis = new JedisPoolConfig()
config_redis.setMaxTotal(300)
config_redis.setMaxWaitMillis (2*1000)
@transient var jedisPool = new JedisPool(config_redis,"10.10.10.10.",1234,0,"yourpassword")
@transient var client = Esinit() // 此处为es外联的申明
@transient var log = LoggerFactory.getLogger(getClass)
//其他的一些全局变量也可以在这里定义，如log
LoginCheck_api.KeepSession()
//检查保持状态的函数也可以在这里处理，这样不会每个窗口都处理一遍。
override def apply (key: String, window: TimeWindow, input: Iterable[Accumulator], out: Collector[String]): Unit = {
...
//窗口如果定义为null则重新做定义
if(jedisPool==null){
w_log = LoggerFactory.getLogger(getClass)
config_redis = new JedisPoolConfig()
config_redis.setMaxTotal(300)
config_redis.setMaxWaitMillis (2*1000)
jedisPool = new JedisPool(config_redis,"10.10.10.10.",1234,0,"yourpassword")
LoginCheck_api.KeepSession()
}
if(client==null){
client = Esinit()
}
问题3、网络延时问题
场景：flink反压，且排查redis无太多慢查日志
检查提交集群对redis的延时情况，正常应该在0.099ms以内不会影响到程序的处理过程。
问题4：将对外操作放进单独多线程操作
4、通用优化
1.数据标记分流：
使用数据标记过滤进入窗口的数据，
而非使用filter,map等方式去筛选数据。
split分流 select选择分流.
val frequency_ = Features.split(
(s:Map[String,Any])=>
s.get("method").get.toString match{
case "a"|"b"|"c"|
=> List("str")
case "1"|"2"
=>List("int")
case _
=>List("normal")
}
)
val all = frequency_.select("str","int").assignTimestampsAndWatermarks(new TimestampExtractor())
all.keyby().aggregate()
...
Ps. https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/stream/operators/
2.窗口聚合计算
window apply窗口最后触发时进行一次性计算 aggregate来一条数据计算一次。
Ps.https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/stream/operators/
3.keyby关键词无法自行选择较均匀的情况下，
可以采用keyby(Random(20)+key)的形式进行分配窗口。
最好的方式：
原有DataStream中添加专门用于分窗口的字段,但是可能会影响你窗口聚合的结果。
def dealing_input(str):(String,String){
val keyby_key = scala.util.Random.nextInt(20).toString+"-"+key
return (data,keyby_key)
}
input.keyby(_._2).window().xxx
