2019年12月25日
下载文件方法
摘要： 1、从hdfs下载文件流，主要原理是打开文件生成字节数组输出流，然后调用spring的ResponseEntity import org.springframework.http.HttpHeaders; import org.springframework.http.HttpStatus; imp 阅读全文
posted @ 2019-12-25 18:56 再见傅里叶 阅读(201) 评论(0) 推荐(0) 编辑
flink消费kafka
摘要： https://www.cnblogs.com/huxi2b/p/7456936.html 阅读全文
posted @ 2019-12-25 18:48 再见傅里叶 阅读(1160) 评论(0) 推荐(0) 编辑
经验之谈
摘要： 设计字段或者结构先考虑有什么问题（如是否会超长），再考虑查询使用起来如何方便 阅读全文
posted @ 2019-12-25 18:45 再见傅里叶 阅读(76) 评论(0) 推荐(0) 编辑
2019年12月18日
ThreadLocal
摘要： ThreadLocal和Synchronized都是为了解决多线程中相同变量的访问冲突问题，不同的点是 Synchronized是通过线程等待，牺牲时间来解决访问冲突 ThreadLocal是通过每个线程单独一份存储空间，牺牲空间来解决冲突，并且相比于Synchronized，ThreadLocal 阅读全文
posted @ 2019-12-18 09:55 再见傅里叶 阅读(225) 评论(0) 推荐(0) 编辑
2019年12月13日
Flink时间概念
摘要： API见org.apache.flink.streaming.api.TimeCharacteristic 分别是event time（事件时间：事件发生时的时间），ingestion time（摄取时间：事件进入流处理系统的时间），processing time（处理时间：消息被计算处理的时间） 阅读全文
posted @ 2019-12-13 14:33 再见傅里叶 阅读(413) 评论(0) 推荐(0) 编辑
Flink 原理与实现：Window 机制
摘要： 参考网址： https://blog.csdn.net/u4110122855/article/details/81360208 https://blog.csdn.net/u4110122855/article/details/81360381 1、流处理中Window的概念 流是无界的，我们不能 阅读全文
posted @ 2019-12-13 10:34 再见傅里叶 阅读(564) 评论(0) 推荐(0) 编辑
2019年12月11日
spark读取es数据
摘要： 1、调用EsSpark.esRDD 返回RDD[Tuple2[String, scala.collection.Map[String, AnyRef]]] ，其中String为es的id 2、调用EsSparkSQL.esDF返回DataFrame 阅读全文
posted @ 2019-12-11 15:13 再见傅里叶 阅读(4760) 评论(0) 推荐(0) 编辑
2019年11月29日
ElasticSearch - 解决ES的深分页问题 (游标 scroll)
摘要： ES为了避免深分页，不允许使用分页(from&size)查询10000条以后的数据，因此如果要查询第10000条以后的数据，要使用ES提供的 scroll(游标) 来查询。 假设取的页数较大时(深分页)，如请求第20页，Elasticsearch不得不取出所有分片上的第1页到第20页的所有文档，并做 阅读全文
posted @ 2019-11-29 16:20 再见傅里叶 阅读(722) 评论(0) 推荐(0) 编辑
git常用命令
摘要： git rm -r --cached .idea git rm --cached ./target/* git commit -m "rm target" git push feature分支合并到dev除了可以用merge还可以用cherry-pick(可以将feature分支 某一个修改合并到d 阅读全文
posted @ 2019-11-29 10:05 再见傅里叶 阅读(78) 评论(0) 推荐(0) 编辑
2019年11月27日
ES中批量处理BulkProcessor 的具体实现
摘要： @Autowired private ConfigVo configVo; @Autowired private EsClient client; private static BulkProcessor bulkProcessor; @PostConstruct public void init( 阅读全文
posted @ 2019-11-27 17:02 再见傅里叶 阅读(5340) 评论(0) 推荐(1) 编辑