汇总elasticsearch ,elk相关生态工作记录

lucene 本地全文检索

打通es及lucene应用,lucene应用es Query,queryString Query获取及标准化 - cclient - 博客园 (cnblogs.com)

flink

source-table flink-connector-elasticsearch-source flink elasticsearch source table 集成elasticsearch-hadoop connector开发 - cclient - 博客园 (cnblogs.com)

sink flink elasticsearch sink table 忽略部分字段开发 - cclient - 博客园 (cnblogs.com)

spark/hadoop

elasticsearch-hadoop 扩展定制 官方包以支持 update upsert doc - cclient - 博客园 (cnblogs.com)

gateway

实现elasticsearch网关，兼容不同版本es,滚动升级-功能验证开发 - cclient - 博客园 (cnblogs.com)

logstash/filebeat/nifi/

nifi利用官方expression-language，实现变更flowfile内数据的ETL应用 - cclient - 博客园 (cnblogs.com)

logstash @timestamp date filter日期及时区问题修正的通用解决方案

定制logstash-output-kafka 添加额外幂等参数 - cclient - 博客园 (cnblogs.com)

logstash nested内嵌字段 field protobuf解码 codec 的解决办法 - cclient - 博客园 (cnblogs.com)

用logstash 作数据的聚合统计 - cclient - 博客园 (cnblogs.com)

es 慢查询日志收集-grok解析示例 - cclient - 博客园 (cnblogs.com)

通过filebeat收集并通过elsaticsearch的pipeline功能解析nginx访问日志 - cclient - 博客园 (cnblogs.com)

网关系统 apisix/kong 日志收集方案实施对比 - cclient - 博客园 (cnblogs.com)

编译安装 logstash-output-jdbc - cclient - 博客园 (cnblogs.com)

logstash kafka的版本兼容问题 - cclient - 博客园 (cnblogs.com)

logstash output kafka ip 设置的坑 - cclient - 博客园 (cnblogs.com)

logstash 使用glusterfs网络存储偶发性文件解析异常的问题 - cclient - 博客园 (cnblogs.com)

ik/hanlp

升级es分词检索遇到查询数据量不匹配的问题-问题确认,ik代码变更(一) - cclient - 博客园 (cnblogs.com)

hanlp参照ik代码实现远程加载词库功能

布署运维

elasticsearch 大集群最基本，也是最重要的两个配置gc和指针压缩

某云elasticsearch节点失效，手动重置primary，迁移分区 - cclient - 博客园 (cnblogs.com)

elasticsearch 包安装方式单点启动多服务 - cclient - 博客园 (cnblogs.com)

es https证书风险

布署elasticsearch集群监控服务cerebro 访问https的证书问题 - cclient - 博客园 (cnblogs.com)

elasticsearch java sdk 访问未认证自签证书 https ssl web - cclient - 博客园 (cnblogs.com)

okhttp 访问未认证自签证书 https ssl web.md - cclient - 博客园 (cnblogs.com)

其他应用

[elasticsearch min_hash 应用分析 - cclient - 博客园 (cnblogs.com)

早年封装的java es jpa api 网关代理项目 - cclient - 博客园 (cnblogs.com)