随笔分类 -  ELK & Solr

elasticsearch es java api Using Bulk Processor
摘要：Using Bulk Processor The BulkProcessor class offers a simple interface to flush bulk operations automatically based on the number or size of requests, 阅读全文
posted @ 2020-02-24 14:58 大数据从业者FelixZh 阅读(1188) 评论(0) 推荐(0) 编辑
CentOs7.3 搭建 SolrCloud 集群服务
摘要：一、概述 Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库； Solr是以Lucene为基础实现的文本检索应用服务。Solr部署方式有单机方式、多机Master-Slaver方式、Cloud方式。 SolrCloud是基于Solr和Zookeeper的分布式搜索方案。当索引越来越大 阅读全文
posted @ 2019-07-19 09:27 大数据从业者FelixZh 阅读(468) 评论(0) 推荐(0) 编辑
关于elasticsearch和kibana的时区和日期问题
摘要：elasticsearch原生支持date类型，json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型，参考elasticsearch 阅读全文
posted @ 2017-03-14 15:48 大数据从业者FelixZh 阅读(1396) 评论(0) 推荐(0) 编辑
新浪是如何分析处理32亿条实时日志的？
摘要：服务介绍 随着实时分析技术的发展及成本的降低，用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博，微盘，云存储，弹性计算平台等十多个部门的多个产品的日志搜索分析业务，每天处理约32亿条(2TB)日志。 技术架构 简单介绍一下服务的技术架构： 这是一个再常见不过的架构了： （1）Kafka：接收 阅读全文
posted @ 2017-02-18 16:41 大数据从业者FelixZh 阅读(2018) 评论(0) 推荐(0) 编辑
ELK+Kafka 企业日志收集平台(一)
摘要：背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：传送门 ,关于EL 阅读全文
posted @ 2017-02-17 19:37 大数据从业者FelixZh 阅读(2237) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示