项目难点总结
一 滑动窗口
1)滑动窗口设置
2)窗口对齐
3)窗口的调优,能否正常触发
数据丢失问题
retry
事件延时(late arrival events)
五分钟批量和24小时批量补给
二 ignite
1)多个client出现,集群串联
2)宕机后数据丢失
3)数据持久化
三 批量文件发送
用spark 程序进行发送,编写kafka producer 端
主要问题:
数据丢失(max.in.flight.requests.per.connection, 1)
大数据发送,进行参数设置