Bigben - 博客园

2019年7月15日

摘要：对6.3：修改Elasticsearch中JVM配置文件jvm.options：注：本文主要针对ES 2.x。 “该给ES分配多少内存？” “JVM参数如何优化?““为何我的Heap占用这么高？”“为何经常有某个field的数据量超出内存限制的异常？““为何感觉上没多少数据，也会经常Out O 阅读全文

posted @ 2019-07-15 14:27 Bigben 阅读(11806) 评论(0) 推荐(0) 编辑

ESRally压测ElasticSearch性能 CentOS 7.5 安装 Python3.7

摘要： 1，CentOS 7.5 安装 Python3.7 1、安装开发者工具 yum -y groupinstall "Development Tools"2、安装Python编译依赖包 yum -y install openssl-devel zlib-devel bzip2-devel sqlite- 阅读全文

posted @ 2019-07-15 13:51 Bigben 阅读(2323) 评论(1) 推荐(0) 编辑

2019年7月12日

elasticsearch 常用命令一直红色重启不稳定不停的宕机

摘要： persistent (重启后设置也会存在) or transient (整个集群重启后会消失的设置). 查看集群状态和每个indices状态。搜索到red的，没用就删除 GET /_cluster/health?level=indices DELETE /.monitoring-kibana-6- 阅读全文

posted @ 2019-07-12 14:38 Bigben 阅读(2470) 评论(0) 推荐(0) 编辑

2019年7月9日

Elasticsearch运维经验总结

摘要： Elasticsearch运维经验总结 2018年12月10日 16:38:41 运小白阅读数 3811 Elasticsearch运维经验总结 2018年12月10日 16:38:41 运小白阅读数 3811 Elasticsearch运维经验总结 Elasticsearch运维经验总结 20 阅读全文

posted @ 2019-07-09 17:44 Bigben 阅读(5181) 评论(1) 推荐(1) 编辑

select、poll、epoll之间的区别

摘要： (1)select==>时间复杂度O(n) 它仅仅知道了，有I/O事件发生了，却并不知道是哪那几个流（可能有一个，多个，甚至全部），我们只能无差别轮询所有流，找出能读出数据，或者写入数据的流，对他们进行操作。所以select具有O(n)的无差别轮询复杂度，同时处理的流越多，无差别轮询时间就越长。 ( 阅读全文

posted @ 2019-07-09 10:18 Bigben 阅读(179) 评论(0) 推荐(0) 编辑

2019年7月8日

别再说你不会 ElasticSearch 调优了，都给你整理好了

摘要：来源：http://tinyurl.com/y4gnzbje 第一部分：调优索引速度第二部分-调优搜索速度第三部分：通用的一些建议英文原文：https://www.elastic.co/guide/en/elasticsearch/reference/current/how-to.html E 阅读全文

posted @ 2019-07-08 16:21 Bigben 阅读(3997) 评论(0) 推荐(0) 编辑

2019年7月4日

从Elasticsearch来看分布式系统架构设计

摘要：从Elasticsearch来看分布式系统架构设计 mp.weixin.qq.com 从Elasticsearch来看分布式系统架构设计 mp.weixin.qq.com mp.weixin.qq.com 点击上方“匠心零度”，选择“设为星标” 做积极的人，而不是积极废人来源：https://dw 阅读全文

posted @ 2019-07-04 14:14 Bigben 阅读(715) 评论(0) 推荐(0) 编辑

2019年7月2日

转 java 8 lamba stream

摘要：一直在写中间件相关的代码，提供SDK给业务方使用，但很多业务方还一直停留在1.7版本，迟迟不升级，为了兼容性，不敢在代码中使用Java8的一些新特性，比如Stream之类的，虽然不能用，但还是要学一下。 Stream 是什么 Stream 是Java 8中添加的一个新特性，它与 java.io 包里阅读全文

posted @ 2019-07-02 15:01 Bigben 阅读(138) 评论(0) 推荐(0) 编辑

2019年6月28日

elastalert 用import属性来组织，引入配置

摘要：对应rule的一些公用规则，可以放到一个或者多个头文件中。主的rule yaml文件引入即可。文件名随意，最好别用yaml后缀，要不会被当做一个rule。另外import在rule文件中只能出现一次。多个头文件的话可以import文件中引入另外一个import。示例：主的myrule.yaml: 阅读全文

posted @ 2019-06-28 15:23 Bigben 阅读(349) 评论(0) 推荐(0) 编辑

2019年6月25日

c++动态链接问题

摘要： https://blog.csdn.net/liu0808/article/details/81169173 https://blog.csdn.net/f110300641/article/details/82657972 https://blog.csdn.net/sweetfather/art 阅读全文

posted @ 2019-06-25 21:42 Bigben 阅读(143) 评论(0) 推荐(0) 编辑

Linux系统上java调用C++ so库文件

摘要： PART1： java中使用jna替代jni调用c++/c生成的 dll/so库文件需要做的事项 1、引入JNA依赖或者直接下载JNAjar包  <dependency> 阅读全文

posted @ 2019-06-25 18:17 Bigben 阅读(2606) 评论(0) 推荐(0) 编辑

2019年6月24日

es的六种搜索方式 es query

摘要： query string search GET /ecommerce/product/_search //查询所有数据 { "took": 4,//耗费几毫秒 "timed_out": false,//是否超时 "_shards": {//数据拆分成5个分片，对所有请求都会打到所有primary s 阅读全文

posted @ 2019-06-24 10:59 Bigben 阅读(44579) 评论(0) 推荐(1) 编辑

2019年6月19日

查看linux操作系统

摘要： cd /etc ll *release cat cat os-release cat centos-releaseCentOS Linux release 7.5.1804 (Core) 阅读全文

posted @ 2019-06-19 16:33 Bigben 阅读(543) 评论(0) 推荐(0) 编辑

2019年6月12日

The 10 Best Studio Headphones of 2019

摘要： The 10 Best Studio Headphones of 2019 https://www.outeraudio.com/category/list/ https://www.outeraudio.com/studio-headphones/ January 16, 2019 1 comme 阅读全文

posted @ 2019-06-12 10:44 Bigben 阅读(248) 评论(0) 推荐(0) 编辑

2019年6月11日

Xshell连接mysql数据库乱码问题解决思路总结

摘要：乱码问题一直是一件让人头疼的事情，乱码就是编码格式不统一产生的，下面将一些常见的解决思路整理：先Xshell连接上数据库，查看数据的编码格式：一般需要看这么几个地方（附修改命令）： 1、数据库的编码（4种方式视情况而定） 1 命令1、show variables like 'character_ 阅读全文

posted @ 2019-06-11 15:21 Bigben 阅读(586) 评论(0) 推荐(0) 编辑

2019年6月10日

replace into 详解 update mysql

摘要：转 replace 与 update 区分本文主要对比一下 Sqlite 中的 replace 语句和 update 语句。在本例中使用如下数据库表：图1 该表的表名为student，存储学生信息。所有字段的数据类型都是TEXT 。其中id和name作为复合主键。 email字段加上了唯阅读全文

posted @ 2019-06-10 15:29 Bigben 阅读(8794) 评论(0) 推荐(0) 编辑

2019年6月4日

es查询和更新语句示例

摘要：文档目录： https://www.elastic.co/guide/index.html GET /hs_server_ahc_task*/_search{ "query": { "bool": { "must": [ { "bool": { "should": [ { "match": { "L 阅读全文

posted @ 2019-06-04 18:26 Bigben 阅读(4821) 评论(0) 推荐(0) 编辑

2019年5月28日

恋恋山城 Jean de Florette (1986) 男人的野心 / 弗洛莱特的若望 / 让·德·弗罗莱特 / 水源下一部甘泉，玛侬

摘要：《让·德·弗洛莱特》电影剧本文/〔法〕马赛尔·巴涅尔译/苏原编者按：《让·德·弗洛莱特》和《甘泉，玛侬》是根据法国著名作家马赛尔·巴涅尔的同名小说改编的电影。马赛尔·巴涅尔是法国二十世纪享有盛名的作家。1895年生于法国南部普鲁旺斯省的奥巴涅小镇。极富浪漫气息的普鲁旺斯的乡村生活为他提供了源源不断的阅读全文

posted @ 2019-05-28 11:01 Bigben 阅读(1596) 评论(0) 推荐(0) 编辑

2019年5月27日

《实战Java高并发程序设计》读书笔记

摘要：原《实战Java高并发程序设计》读书笔记（四）：锁的优化与注意事项第四章锁的优化及注意事项 4.1 有助于提高锁性能的几点建议 1、减少锁持有时间即只在必要的时候进行同步。 2、减小锁粒度如ConcurrentHashMap中并不是对整个HashMap进行加锁，而是对其分段，每段分别加锁。阅读全文

posted @ 2019-05-27 11:06 Bigben 阅读(273) 评论(0) 推荐(0) 编辑

2019年5月21日

DataPipeline ｜ApacheKafka实战作者胡夕：Apache Kafka监控与调优

摘要： https://baijiahao.baidu.com/s?id=1610644333184173190&wfr=spider&for=pc DataPipeline ｜ApacheKafka实战作者胡夕：Apache Kafka监控与调优 DataPipeline ｜ApacheKafka实战作者阅读全文

posted @ 2019-05-21 16:43 Bigben 阅读(529) 评论(0) 推荐(0) 编辑

消息中间件 kafka rabbitmq 选型差异

摘要： https://www.zhihu.com/question/43557507 https://baijiahao.baidu.com/s?id=1610644333184173190&wfr=spider&for=pc 本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、Act 阅读全文

posted @ 2019-05-21 16:34 Bigben 阅读(397) 评论(0) 推荐(0) 编辑

2019年5月14日

kafka生产部署

摘要： kafka真实环境部署规划 1. 操作系统选型因为kafka服务端代码是Scala语言开发的，因此属于JVM系的大数据框架，目前部署最多的3类操作系统主要由Linux ，OS X 和Windows,但是部署在Linux数量最多，为什么呢？因为I/O模型的使用和数据网络传输效率两点。第一：Kafk 阅读全文

posted @ 2019-05-14 15:06 Bigben 阅读(269) 评论(0) 推荐(0) 编辑

2019年5月13日

logback不同业务的日志打印到不同文件

posted @ 2019-05-13 14:24 Bigben 阅读(706) 评论(0) 推荐(0) 编辑

2019年5月8日

Java并发编程核心概念一览

摘要：作者博客地址 https://muggle.javaboy.org。并行相关概念同步和异步同步和异步通常来形容一次方法的调用。同步方法一旦开始，调用者必须等到方法结束才能执行后续动作；异步方法则是在调用该方法后不必等到该方法执行完就能执行后面的代码，该方法会在另一个线程异步执行，异步方法总是伴阅读全文

posted @ 2019-05-08 10:26 Bigben 阅读(174) 评论(0) 推荐(0) 编辑

大数据分析常用去重算法分析『Bitmap 篇』

摘要：大数据分析常用去重算法分析『Bitmap 篇』 mp.weixin.qq.com 大数据分析常用去重算法分析『Bitmap 篇』 mp.weixin.qq.com mp.weixin.qq.com 去重分析在企业日常分析中的使用频率非常高，如何在大数据场景下快速地进行去重分析一直是一大难点。在近期的阅读全文

posted @ 2019-05-08 10:23 Bigben 阅读(2982) 评论(0) 推荐(0) 编辑

2019年5月7日

java 堆调优

摘要：一.查看kafka集群的broker的堆内存使用情况 1>.使用jstat查看gc的信息([root@kafka116 ~]# jstat -gc 12698 1s 30）参数说明：S0C：第一个幸存区的大小 S1C：第二个幸存区的大小 S0U：第一个幸存区的使用大小 S1U：第二个幸存区的使用大阅读全文

posted @ 2019-05-07 09:58 Bigben 阅读(287) 评论(0) 推荐(0) 编辑

2019年4月29日

大规模使用 Apache Kafka 的20个最佳实践

摘要：必读 | 大规模使用 Apache Kafka 的20个最佳实践配图来源：书籍《深入理解Kafka》必读 | 大规模使用 Apache Kafka 的20个最佳实践配图来源：书籍《深入理解Kafka》配图来源：书籍《深入理解Kafka》 Apache Kafka是一款流行的分布式数据流平台，阅读全文

posted @ 2019-04-29 10:24 Bigben 阅读(263) 评论(0) 推荐(0) 编辑

2019年4月26日

es定期删除数据

摘要： es定期删除数据 1、定期删除索引使用sentinl报警后，会产生大量如下索引，虽然不占空间，但时间久了也不好，故写个脚本定期删除脚本如下： 1 #!/bin/bash 2 #只保留5天内的日志索引 3 LAST_DATA=`date -d "-5 days" "+%Y.%m.%d"` 4 #删阅读全文

posted @ 2019-04-26 15:07 Bigben 阅读(11965) 评论(1) 推荐(1) 编辑

2019年4月25日

logstash 问题集锦自动重新加载配置

摘要：输入内容中最好不要出现 "type":"..."，key为type的json。它会覆盖配置文件中的type。导致type不相等，不执行output es操作。比如json：{"type":"123"} logstash配置文件为：自动重新加载配置为了可以自动检测配置文件的变动和自动重新加载配置阅读全文

posted @ 2019-04-25 14:09 Bigben 阅读(1841) 评论(0) 推荐(0) 编辑

2019年4月17日

使用logstash同步MySQL数据到ES

posted @ 2019-04-17 11:06 Bigben 阅读(4686) 评论(2) 推荐(1) 编辑

Java 后端开发

摘要： mp.weixin.qq.com mp.weixin.qq.com mp.weixin.qq.com 点击上方“方志朋”，选择“置顶或者星标” 你的关注意义重大！首发：cnblogs.com/JavaArchitect/p/10011253.html 上周，密集面试了若干位Java后端候选人，工作阅读全文

posted @ 2019-04-17 10:33 Bigben 阅读(998) 评论(0) 推荐(0) 编辑

“搜索”的原理

摘要： “搜索”的原理，架构，实现，实践，面试不用再怕了（值得收藏）！！！ mp.weixin.qq.com “搜索”的原理，架构，实现，实践，面试不用再怕了（值得收藏）！！！ mp.weixin.qq.com mp.weixin.qq.com 可能99%的同学不做搜索引擎，但99%的同学一定实现过检索功能阅读全文

posted @ 2019-04-17 10:10 Bigben 阅读(760) 评论(0) 推荐(0) 编辑

超详细的Guava RateLimiter限流原理解析

摘要：超详细的Guava RateLimiter限流原理解析 mp.weixin.qq.com 超详细的Guava RateLimiter限流原理解析 mp.weixin.qq.com mp.weixin.qq.com 点击上方“方志朋”，选择“置顶或者星标” 你的关注意义重大！限流是保护高并发系统的三阅读全文

posted @ 2019-04-17 10:09 Bigben 阅读(898) 评论(0) 推荐(0) 编辑

Spring Cloud 微服务

摘要： https://mp.weixin.qq.com/s?__biz=MzU0OTE4MzYzMw==&mid=2247486301&idx=2&sn=f6d45860269b614f90c345d87ff27581&chksm=fbb282a3ccc50bb5117cfa102f3e76ecea555 阅读全文

posted @ 2019-04-17 10:05 Bigben 阅读(256) 评论(0) 推荐(0) 编辑

2019年4月11日

Spring Boot整合Elasticsearch

摘要： Spring Boot整合Elasticsearch Spring Boot整合Elasticsearch Elasticsearch是一个全文搜索引擎，专门用于处理大型数据集。根据描述，自然而然使用它来存储和搜索应用程序日志。与Logstash和Kibana一起，它是强大的解决方案Elastic 阅读全文

posted @ 2019-04-11 15:50 Bigben 阅读(410) 评论(0) 推荐(0) 编辑

2019年4月10日

ZooKeeper集群与Leader选举

摘要：说说你对ZooKeeper集群与Leader选举的理解？说说你对ZooKeeper集群与Leader选举的理解？ ZooKeeper是一个开源分布式协调服务、分布式数据一致性解决方案。可基于ZooKeeper实现命名服务、集群管理、Master选举、分布式锁等功能。高可用为了保证ZooKeep 阅读全文

posted @ 2019-04-10 14:10 Bigben 阅读(4265) 评论(0) 推荐(0) 编辑

2019年4月4日

logstash配置多入多出并互相隔离

摘要：需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离；需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离；需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离；需求：阅读全文

posted @ 2019-04-04 17:28 Bigben 阅读(4453) 评论(1) 推荐(0) 编辑

Http input plugin

摘要： logstash作为一个数据输入端。提供http服务，接收客户端的http请求，获取发送的内容。在config目录下新建文件： vim config/http-input.yml 启动： bin/logstash -f ./config/http-input.yml 启动后输出：另外，logst 阅读全文

posted @ 2019-04-04 17:20 Bigben 阅读(718) 评论(0) 推荐(0) 编辑

2019年4月3日

logstash filter 处理json

摘要：根据输入的json字段，分别建立索引。循环生成注册log和登录log保存到testlog文件中,结果如下: {"method":"register","user_id":2933,"user_name":"name_91","level":27,"login_time":1470179550}{"m 阅读全文

posted @ 2019-04-03 18:13 Bigben 阅读(16336) 评论(0) 推荐(0) 编辑

修改CentOS6.5默认主机名(root下操作)

摘要：使用CentOS6.5官方镜像安装完毕之后，默认的主机名为localhost，不便管理，我们需要根据实际情况修改。此处我准备讲默认的主机名 localhost 改为 comex01-ct65 第一步：修改系统网络配置文件首先备份待修改的文件： cp /etc/sysconfig/network 阅读全文

posted @ 2019-04-03 16:55 Bigben 阅读(1050) 评论(0) 推荐(0) 编辑