摘要： 最近 用户提交了一个问题 说他的jar包里明明包含相关的类型 但是在提交Flink作业的时候 却报出classnotfound的错误 查看之后发现 这里是flink的一个没有说的太明白的地方 用户的代码之所以报错 是因为在代码中引用了mapreduce相关的东西 我们知道 flink会在生成jobG 阅读全文

摘要： 一般而言，es返回数据的上限是10000条，如果超过这个数量，就必须使用scroll查询。 所谓scroll查询就类似DBMS中的游标，或者快照吧，利用查询条件，在第一次查询时，在所有的结果上形成了一个快照，然后再分批分次的读取出来。 要完成一个scroll查询分两个阶段： 阶段一：带查询参数 1 阅读全文

摘要： 目前采用的Flink的版本是1.4.2，运行在yarn上，总是时不时的报错“Invalid AMRMToken from appattempt”，导致AM挂掉。 简而言之，就是AM和RM沟通的过程中，突然AM提供的Token不被认可，导致拒绝连接，进而AM挂掉。 后来发现早期版本的yarn-clie 阅读全文

摘要： LevelDb的基本结构如下： 由六大部分组成： 一、MemTable，用户写入和读取的直接对象， 二、Immutable MemTable，用户状态写入的对象写满的MemTable之后会转为ImmutableMemTable，之后会写sst文件， 三、LOG文件，是WAL机制的部分，用户在写入Me 阅读全文

摘要： 流程很简单，创建actorSystem，通过actorSystem获取AkkaQueryServiceRetriever，进而通过传递path获得的Gateway进行通信。 之前在主项目里跑的很稳定，拆出来之后在本地也没有问题。 单独上线之后，问题来了，整个jvm会直接crash，并且没有报错信息， 阅读全文

摘要： 最近接手了一个flink作业，另外一个同事断断续续有的没的写了半年的，不着急，也一直没上线，最近突然要上线，扔给我，要调通上线。 现状是： 1.代码跑不动，资源给的不少，但是就是频繁反压。 2.checkpoint经常失败。 3.也是最严重的，跑着跑着，作业就挂了。 接手之后，秉承着代码的业务逻辑是 阅读全文

摘要： streamTask的invoke方法中，会循环去调用task上的每个operator的initializeState方法，在这个方法中，会真正创建除了savepointStream的其他三个对象， 而savepointStream会lazy到做savepoint的时候才创建对象，这个也可以理解，毕 阅读全文

摘要： 一、从何说起 State要能发挥作用，就需要持久化到可靠存储中，flink中持久化的动作就是checkpointing，那么从TM中执行的Task的基类StreamTask的checkpoint逻辑说起。 1.streamTask 2.checkpointingOperation 这个类中，直接对s 阅读全文

摘要： 最近在将应用的rpc更换为grpc，使用过程中，发现报“rpc error:code=DeadlineExceeded desc = context deadline exceeded”，这是啥？原来是某位仁兄设置了环境的超时时间，但是设置了1S，看好了，是1S。所以，任何稍微费时的交互，都直接报错 阅读全文

摘要： 在“基于log4j的消息流的实现之一消息获取”中获取日志消息的部分，修改如下： import org.apache.commons.collections.map.HashedMap; import org.apache.log4j.AppenderSkeleton; import org.apac 阅读全文