04 2019 档案

摘要:必读 | 大规模使用 Apache Kafka 的20个最佳实践 配图来源:书籍《深入理解Kafka》 必读 | 大规模使用 Apache Kafka 的20个最佳实践 配图来源:书籍《深入理解Kafka》 配图来源:书籍《深入理解Kafka》 Apache Kafka是一款流行的分布式数据流平台, 阅读全文
posted @ 2019-04-29 10:24 Bigben 阅读(270) 评论(0) 推荐(0) 编辑
摘要:es定期删除数据 1、定期删除索引 使用sentinl报警后,会产生大量如下索引,虽然不占空间,但时间久了也不好,故写个脚本定期删除 脚本如下: 1 #!/bin/bash 2 #只保留5天内的日志索引 3 LAST_DATA=`date -d "-5 days" "+%Y.%m.%d"` 4 #删 阅读全文
posted @ 2019-04-26 15:07 Bigben 阅读(12087) 评论(1) 推荐(1) 编辑
摘要:输入内容中最好不要出现 "type":"...",key为type的json。它会覆盖配置文件中的type。导致type不相等,不执行output es操作。 比如json:{"type":"123"} logstash配置文件为: 自动重新加载配置 为了可以自动检测配置文件的变动和自动重新加载配置 阅读全文
posted @ 2019-04-25 14:09 Bigben 阅读(1850) 评论(0) 推荐(0) 编辑
摘要:使用logstash同步MySQL数据到ES 版权声明:【分享也是一种提高】个人转载请在正文开头明显位置注明出处,未经作者同意禁止企业/组织转载,禁止私自更改原文,禁止用于商业目的。 https://blog.csdn.net/u010887744/article/details/86708490 阅读全文
posted @ 2019-04-17 11:06 Bigben 阅读(4701) 评论(2) 推荐(1) 编辑
摘要:“搜索”的原理,架构,实现,实践,面试不用再怕了(值得收藏)!!! mp.weixin.qq.com “搜索”的原理,架构,实现,实践,面试不用再怕了(值得收藏)!!! mp.weixin.qq.com mp.weixin.qq.com 可能99%的同学不做搜索引擎,但99%的同学一定实现过检索功能 阅读全文
posted @ 2019-04-17 10:10 Bigben 阅读(782) 评论(0) 推荐(0) 编辑
摘要:超详细的Guava RateLimiter限流原理解析 mp.weixin.qq.com 超详细的Guava RateLimiter限流原理解析 mp.weixin.qq.com mp.weixin.qq.com 点击上方“方志朋”,选择“置顶或者星标” 你的关注意义重大! 限流是保护高并发系统的三 阅读全文
posted @ 2019-04-17 10:09 Bigben 阅读(910) 评论(0) 推荐(0) 编辑
摘要:https://mp.weixin.qq.com/s?__biz=MzU0OTE4MzYzMw==&mid=2247486301&idx=2&sn=f6d45860269b614f90c345d87ff27581&chksm=fbb282a3ccc50bb5117cfa102f3e76ecea555 阅读全文
posted @ 2019-04-17 10:05 Bigben 阅读(259) 评论(0) 推荐(0) 编辑
摘要:Spring Boot整合Elasticsearch Spring Boot整合Elasticsearch Elasticsearch是一个全文搜索引擎,专门用于处理大型数据集。根据描述,自然而然使用它来存储和搜索应用程序日志。与Logstash和Kibana一起,它是强大的解决方案Elastic  阅读全文
posted @ 2019-04-11 15:50 Bigben 阅读(416) 评论(0) 推荐(0) 编辑
摘要:说说你对ZooKeeper集群与Leader选举的理解? 说说你对ZooKeeper集群与Leader选举的理解? ZooKeeper是一个开源分布式协调服务、分布式数据一致性解决方案。可基于ZooKeeper实现命名服务、集群管理、Master选举、分布式锁等功能。 高可用 为了保证ZooKeep 阅读全文
posted @ 2019-04-10 14:10 Bigben 阅读(4306) 评论(0) 推荐(0) 编辑
摘要:需求:需要利用同一logstash进程采集不同日志,输出到es的不同index,各输入输出隔离; 需求:需要利用同一logstash进程采集不同日志,输出到es的不同index,各输入输出隔离; 需求:需要利用同一logstash进程采集不同日志,输出到es的不同index,各输入输出隔离; 需求: 阅读全文
posted @ 2019-04-04 17:28 Bigben 阅读(4506) 评论(1) 推荐(0) 编辑
摘要:logstash作为一个数据输入端。提供http服务,接收客户端的http请求,获取发送的内容。 在config目录下新建文件: vim config/http-input.yml 启动: bin/logstash -f ./config/http-input.yml 启动后输出: 另外,logst 阅读全文
posted @ 2019-04-04 17:20 Bigben 阅读(719) 评论(0) 推荐(0) 编辑
摘要:根据输入的json字段,分别建立索引。循环生成注册log和登录log保存到testlog文件中,结果如下: {"method":"register","user_id":2933,"user_name":"name_91","level":27,"login_time":1470179550}{"m 阅读全文
posted @ 2019-04-03 18:13 Bigben 阅读(16429) 评论(0) 推荐(0) 编辑
摘要:使用CentOS6.5官方镜像安装完毕之后,默认的主机名为localhost,不便管理,我们需要根据实际情况修改。 此处我准备讲默认的主机名 localhost 改为 comex01-ct65 第一步:修改系统网络配置文件 首先备份待修改的文件: cp /etc/sysconfig/network 阅读全文
posted @ 2019-04-03 16:55 Bigben 阅读(1062) 评论(0) 推荐(0) 编辑
摘要:作者:王帅@CodeSheep 写在前面 关于 Spring Security Web系统的认证和权限模块也算是一个系统的基础设施了,几乎任何的互联网服务都会涉及到这方面的要求。在Java EE领域,成熟的安全框架解决方案一般有 Apache Shiro、Spring Security等两种技术选型 阅读全文
posted @ 2019-04-03 14:39 Bigben 阅读(592) 评论(0) 推荐(0) 编辑
摘要:问题 问题 用过 Kafka 的同学用过都知道,每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的数据。我们又知道,Kafka 阅读全文
posted @ 2019-04-02 10:04 Bigben 阅读(1333) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示