摘要：
nifi主节点切换导致任务堆积无法处理 nifi的分布式方案，实际只是多节点的同类Processor并行执行，分布式比较简陋 Processor可以是producder,可以是consumer,也可以同时有producder/consumer 两种身份 官方建议的根producder，最好只是由ma 阅读全文
摘要：
k8s平台集成kong ingress 布署konga集成ui 各ingress的对比，其他博客有详细对比 简单谈点体验 istio很强大，但过于复杂，个人用过一段时期，勉强算是熟悉了基本使用，但复杂是相对团队的，每个人都掌握不可能，团队大部分只是想简单的上线一个api,然后能快速cicd部署上线到 阅读全文
摘要：
封装k8s sdk判断statefulset 子pod完全运行的方式 立项开发云平台，需在K8s api上封装一个sdk https://github.com/kubernetes-client 调研时犹豫过使用哪种语言开发，产品业务的开发语言是java,因此为方便集成选型为java 语言 优点 g 阅读全文
摘要：
nifi flowfile文件存储结构分析 之前的整理的资料找不到了 说结论吧 有些人会担心flowfile是单一的文件存储的，大量的flowfile会导至大量的文件，对文件系统造成较大压力，也影响性能表现 经过源码和实际运行环境验证 flowfile并不是以小文件的格式存储的 而是分块存储的，按大 阅读全文
摘要：
nifi练习项目，聚合多flowfile的attribute，以单个邮件发放通知 习惯看代码的直接访问 https://github.com/cclient/nifi-email-bundle Nifi SendEmail Processor flowfile0 mail0(flowfile0) f 阅读全文
摘要：
nifi应用体验,定制化开发概述 去年负责重构数据流，在nifi上作了些技术攻关和技术积累 成功的以nifi为基础，重构了整个数据流 整体上nifi比flink简单很多 国内nifi资料较少，一开始觉得会很困难，更倾向选择使用flink 但实际调研和应用过程中，发现nifi虽然有些小毛病，不过瑕不掩 阅读全文
摘要：
一个mysql比较典型的子查询改join优化 早些年当作sql server /orcal sql的dba,后来进入互联网用mysql比较高，早年各项目重度依赖sql 近年几搞大数据，mysql也是用，不涉及优化，整体mysql在行业内是被弱化了的，因为针对各场景的其他sql/nosql组件可以选择 阅读全文
摘要：
kong logs/error.log内确实发现大量日志 2021/01/25 16:46:05 [warn] 166110#0: *3522559308 a client request body is buffered to a temporary file /usr/local/kong/cl 阅读全文
摘要：
首先，jenkins很强大，尤其是各种插件的支持，但实际个人工作中，用到的并不多，早期大型项目布署负载各种脚本和远程调用，目前所有项目和k8s深耦合，已经拆解为各种云服务，jenkins的大部分功能用不到 其次，这只是一种可行的方案，并不是最优的方案，不同阶段也都有再调整和优化的空间 最后，对个人的 阅读全文
摘要：
cicd 结合git的版本控制概要 首先，不同项目不同团队git的规范和习惯会有区别 使用原生git更自由和定制化，为了简单不少项目会选择git flow的方案 使用git flow的，一方面是简化规范一些操作，避免可能因不熟悉git和多人操作的冲突,因为git flow是在git的一个受约束的环境 阅读全文