摘要：
java 内存里压缩和解压缩zip 文件 java uncompress/compress a zip file in memory 在文件系统之上的压缩和解压缩没太多说的，网络上有大量的资料 目前基于nifi做功能性的processor开发，涉及对zip文件的解压和压缩 通常解压和压缩功能依赖文件 阅读全文
摘要：
Nifi Mutate FlowFile Content Processor 该项目主要是应用官方expression-language（EL）实现类似logstash-plugins-filters-mutate的功能 项目地址 https://github.com/cclient/nifi-mu 阅读全文
摘要：
全网ssl,各种组件也都越来越广泛的使用ssl加密 证书的使用越来越 ssl个人除了https，用的最多的是openvpn的维护 openvpn的账号授权需要大量证书 之前都是使用easyrsa管理证书，网上也有很多**easyrsa**的介绍，大主要都是openvpn相关 个人无意中发现一种更简单 阅读全文
摘要：
这里只抛砖引玉列一个方案 nifi内本身支持存储插件，但对不同业务类型不够通用，不够灵活 外部存储可以用支持 唯一索引的db，kv类的存储等 可以组合nifi的官方组件，或自定义开发组件 对kv类，通用的 processor1 检查外部存储是否存在key,不存在的则进入下级flowfile proc 阅读全文
摘要：
实现一套ES全文检索语法-到Lucene语法的转换工具，以实现在es外部兼容处理文本分词 Elasticsearch本身不做介绍 主要使用点 1 分布式数据仓储 2 全文检索 3 查询及聚合统计 不同的产品使用功能点各有侧重 部分业务场景重度使用Elasticsearch的全文检索功能 受限于Ela 阅读全文
摘要：
nifi的去重方案设计(一)-单队列内去重.md 在官方组件里没有找到去重的组件，这个场景还是比较常见的 会分两篇来讲nifi 队列内flowflie去重的实现，都不完美，但满足日常使用 假设flowfile代表任务，以一个技术人员都比较容易理解的，爬虫任务场景而言 flowfile 分为两级属性， 阅读全文
摘要：
k8s dashboard无法登录，从dashboard查到apiserver 再查到etcd 最后是发现是master证书问题，自签证书有效1期年,服务初始由kubeadm搭建 2020-07-16 09:31:21.660802 I | raft: aa548f97cfe05a3f is sta 阅读全文
摘要：
部分项目从kafka迁移至pulsar，近期使用中碰到了一些问题，勉强把大的坑踩完了，topic永驻，性能相关 pulsar概念类的东西官方文档和基本介绍的博客很多，也就不重复说明了，更深入的东西也不涉及 只说下近期的使用体验 设计理念上，虽然pulsar也支持持久化队列，但和kafka对持久化的理 阅读全文
摘要：
nifi主节点切换导致任务堆积无法处理 nifi的分布式方案，实际只是多节点的同类Processor并行执行，分布式比较简陋 Processor可以是producder,可以是consumer,也可以同时有producder/consumer 两种身份 官方建议的根producder，最好只是由ma 阅读全文
摘要：
k8s平台集成kong ingress 布署konga集成ui 各ingress的对比，其他博客有详细对比 简单谈点体验 istio很强大，但过于复杂，个人用过一段时期，勉强算是熟悉了基本使用，但复杂是相对团队的，每个人都掌握不可能，团队大部分只是想简单的上线一个api,然后能快速cicd部署上线到 阅读全文
摘要：
封装k8s sdk判断statefulset 子pod完全运行的方式 立项开发云平台，需在K8s api上封装一个sdk https://github.com/kubernetes-client 调研时犹豫过使用哪种语言开发，产品业务的开发语言是java,因此为方便集成选型为java 语言 优点 g 阅读全文
摘要：
nifi flowfile文件存储结构分析 之前的整理的资料找不到了 说结论吧 有些人会担心flowfile是单一的文件存储的，大量的flowfile会导至大量的文件，对文件系统造成较大压力，也影响性能表现 经过源码和实际运行环境验证 flowfile并不是以小文件的格式存储的 而是分块存储的，按大 阅读全文
摘要：
nifi练习项目，聚合多flowfile的attribute，以单个邮件发放通知 习惯看代码的直接访问 https://github.com/cclient/nifi-email-bundle Nifi SendEmail Processor flowfile0 mail0(flowfile0) f 阅读全文
摘要：
nifi应用体验,定制化开发概述 去年负责重构数据流，在nifi上作了些技术攻关和技术积累 成功的以nifi为基础，重构了整个数据流 整体上nifi比flink简单很多 国内nifi资料较少，一开始觉得会很困难，更倾向选择使用flink 但实际调研和应用过程中，发现nifi虽然有些小毛病，不过瑕不掩 阅读全文
摘要：
一个mysql比较典型的子查询改join优化 早些年当作sql server /orcal sql的dba,后来进入互联网用mysql比较高，早年各项目重度依赖sql 近年几搞大数据，mysql也是用，不涉及优化，整体mysql在行业内是被弱化了的，因为针对各场景的其他sql/nosql组件可以选择 阅读全文
摘要：
kong logs/error.log内确实发现大量日志 2021/01/25 16:46:05 [warn] 166110#0: *3522559308 a client request body is buffered to a temporary file /usr/local/kong/cl 阅读全文
摘要：
首先，jenkins很强大，尤其是各种插件的支持，但实际个人工作中，用到的并不多，早期大型项目布署负载各种脚本和远程调用，目前所有项目和k8s深耦合，已经拆解为各种云服务，jenkins的大部分功能用不到 其次，这只是一种可行的方案，并不是最优的方案，不同阶段也都有再调整和优化的空间 最后，对个人的 阅读全文
摘要：
cicd 结合git的版本控制概要 首先，不同项目不同团队git的规范和习惯会有区别 使用原生git更自由和定制化，为了简单不少项目会选择git flow的方案 使用git flow的，一方面是简化规范一些操作，避免可能因不熟悉git和多人操作的冲突,因为git flow是在git的一个受约束的环境 阅读全文
摘要：
通过filebeat收集并通过elsaticsearch的pipeline功能解析nginx访问日志 部分方案直接通过nginx写入json格式的数据，filebeat/logstash 直接解析收集上传至es 本篇方式为nginx写入标准文件，filebeat上传，并调用es的pipeline方法 阅读全文
摘要：
权衡各种选型和匹配，和个人熟悉程度，目前的选择Typora+minio+upic的方案 minio的图片加载，通过nginx 做ssl https,http2 gui选择Typora，之所以选择Typora，最大痛点是图片自动上传，懂得都懂，也是本篇主要的部分 服务端 1 基础服务启动minio m 阅读全文