cclient - 博客园

2021年3月1日

打通es及lucene应用,lucene应用es Query,queryString Query获取及标准化

摘要：打通es及lucene应用,lucene应用es Query,queryString Query获取及标准化 https://github.com/cclient/elasticsearch-query-string-lucene-format 最终目标是在外部程序内构建lucene索引，并保证和e 阅读全文

posted @ 2021-03-01 07:39 cclient 阅读(1430) 评论(0) 推荐(0) 编辑

打通es及lucene应用,lucene应用es Query-介绍

摘要：应用背景需求国内对中文文本的检索，在大数据场景应用，大量依赖es，es对中文分词的大数据场景提供了很大的支撑 es虽可串连其他大数据组件，但分词检索部分较难脱离es的束缚，因此es成了,中文分词场景下，反而又成了大数据场景应用的瓶颈同时es集群的承载能力有限，又成为整个系统的瓶颈所在，减小es的阅读全文

posted @ 2021-03-01 07:27 cclient 阅读(112) 评论(0) 推荐(0) 编辑

2021年2月28日

java 内存里压缩和解压缩zip 文件

摘要： java 内存里压缩和解压缩zip 文件 java uncompress/compress a zip file in memory 在文件系统之上的压缩和解压缩没太多说的，网络上有大量的资料目前基于nifi做功能性的processor开发，涉及对zip文件的解压和压缩通常解压和压缩功能依赖文件阅读全文

posted @ 2021-02-28 21:47 cclient 阅读(1475) 评论(0) 推荐(0) 编辑

nifi利用官方expression-language，实现变更flowfile内数据的ETL应用

摘要： Nifi Mutate FlowFile Content Processor 该项目主要是应用官方expression-language（EL）实现类似logstash-plugins-filters-mutate的功能项目地址 https://github.com/cclient/nifi-mu 阅读全文

posted @ 2021-02-28 21:41 cclient 阅读(626) 评论(0) 推荐(0) 编辑

cfssl批量生成ssl证书文件供openvpn等服务使用,非常方便

摘要：全网ssl,各种组件也都越来越广泛的使用ssl加密证书的使用越来越 ssl个人除了https，用的最多的是openvpn的维护 openvpn的账号授权需要大量证书之前都是使用easyrsa管理证书，网上也有很多**easyrsa**的介绍，大主要都是openvpn相关个人无意中发现一种更简单阅读全文

posted @ 2021-02-28 19:32 cclient 阅读(3) 评论(0) 推荐(1) 编辑

nifi的去重方案设计(二)-外部存储mysql全局去重

摘要：这里只抛砖引玉列一个方案 nifi内本身支持存储插件，但对不同业务类型不够通用，不够灵活外部存储可以用支持唯一索引的db，kv类的存储等可以组合nifi的官方组件，或自定义开发组件对kv类，通用的 processor1 检查外部存储是否存在key,不存在的则进入下级flowfile proc 阅读全文

posted @ 2021-02-28 19:28 cclient 阅读(678) 评论(0) 推荐(0) 编辑

实现一套ES全文检索语法-到Lucene语法的转换工具，以实现在es外部兼容处理文本分词

摘要：实现一套ES全文检索语法-到Lucene语法的转换工具，以实现在es外部兼容处理文本分词 Elasticsearch本身不做介绍主要使用点 1 分布式数据仓储 2 全文检索 3 查询及聚合统计不同的产品使用功能点各有侧重部分业务场景重度使用Elasticsearch的全文检索功能受限于Ela 阅读全文

posted @ 2021-02-28 19:27 cclient 阅读(380) 评论(0) 推荐(0) 编辑

nifi的去重方案设计(一)-单队列内去重.md

摘要： nifi的去重方案设计(一)-单队列内去重.md 在官方组件里没有找到去重的组件，这个场景还是比较常见的会分两篇来讲nifi 队列内flowflie去重的实现，都不完美，但满足日常使用假设flowfile代表任务，以一个技术人员都比较容易理解的，爬虫任务场景而言 flowfile 分为两级属性，阅读全文

posted @ 2021-02-28 19:24 cclient 阅读(501) 评论(0) 推荐(0) 编辑

k8s 证书过期处理

摘要： k8s dashboard无法登录，从dashboard查到apiserver 再查到etcd 最后是发现是master证书问题，自签证书有效1期年,服务初始由kubeadm搭建 2020-07-16 09:31:21.660802 I | raft: aa548f97cfe05a3f is sta 阅读全文

posted @ 2021-02-28 19:11 cclient 阅读(2034) 评论(0) 推荐(0) 编辑

部分项目从kafka迁移至pulsar，近期使用中碰到了一些问题，勉强把大的坑踩完了，topic永驻，性能相关

摘要：部分项目从kafka迁移至pulsar，近期使用中碰到了一些问题，勉强把大的坑踩完了，topic永驻，性能相关 pulsar概念类的东西官方文档和基本介绍的博客很多，也就不重复说明了，更深入的东西也不涉及只说下近期的使用体验设计理念上，虽然pulsar也支持持久化队列，但和kafka对持久化的理阅读全文

posted @ 2021-02-28 19:09 cclient 阅读(2073) 评论(0) 推荐(1) 编辑

吾生也有涯，而知也无涯

心有阳光，正视黑暗

公告