moonandstar08 - 博客园

2017年4月11日

摘要：一、查询指定schema下表的个数二、查询指定schema下每个表中的记录数三、登录MySQL 参见：http://blog.csdn.net/call_me_lzm/article/details/52244162 四、重启服务五、表中数据复制六、表备份七、获取10分钟之前删除的数据八阅读全文

posted @ 2017-04-11 23:18 moonandstar08 阅读(582) 评论(0) 推荐(0) 编辑

logstash_output_mongodb插件用途及安装详解

摘要：安装详情参见：http://mojijs.com/2017/03/222639/index.html http://www.jianshu.com/p/8516e51e105d 阅读全文

posted @ 2017-04-11 23:07 moonandstar08 阅读(665) 评论(0) 推荐(0) 编辑

Haproxy TCP数据转发

摘要：在实际项目中需要用到haproxy做TCP转发，下面主要针对haproxy的安装及TCP数据转发配置进行说明一、安装Haproxy (1)编译安装Haproxy (2)修改Haproxy配置 (3)启动haproxy 二、Haproxy TCP数据转发参考：http://www.echojb.c 阅读全文

posted @ 2017-04-11 22:33 moonandstar08 阅读(10727) 评论(0) 推荐(0) 编辑

2017年4月6日

Elasticsearch与RDS比较

摘要： Elasticsearch是一个分布式，实时，全文搜索引擎。所有操作都是通过RESTful接口实现，其底层实现是基于Lucene全文搜索引擎。数据以JSON文档的格式存储索引，不需要预先规定范式。和传统数据库的术语对比一下，也许能够帮助我们对Elasticsearch有一个更感性的认识。所有的操阅读全文

posted @ 2017-04-06 22:18 moonandstar08 阅读(586) 评论(0) 推荐(0) 编辑

2017年4月5日

Kibana访问权限控制

摘要： ELK平台搭建完成后，由于Kibana的服务也是暴露在外网，且默认是没有访问限制的（外部所有人都可以访问到），这明显不是我们想要的，所以我们需要利用Nginx接管所有Kibana请求，通过Nginx配置将Kibana的访问加上权限控制，简单常见的方式可以使用如下三种方式：方案一：利用Nginx用户阅读全文

posted @ 2017-04-05 22:37 moonandstar08 阅读(11667) 评论(0) 推荐(0) 编辑

2017年3月29日

Kafka生产环境中的错误

摘要：最近在处理日志收集任务时，发现前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：查了各种资料，发现是由于Kafka走的默认配置。发送的消息超过了最大字节导致的。修改如下参数即可： replica.fetch.max.bytes - this w 阅读全文

posted @ 2017-03-29 22:39 moonandstar08 阅读(2190) 评论(0) 推荐(1) 编辑

2017年3月21日

Flume与Logstash比较

摘要： Flume与Logstash相比，个人的体会如下： Logstash比较偏重于字段的预处理；而Flume偏重数据的传输； Logstash有几十个插件，配置灵活；FLume则是强调用户的自定义开发（source和sink的种类也有一二十个吧，channel就比较少了）。 Logstash的input 阅读全文

posted @ 2017-03-21 23:04 moonandstar08 阅读(845) 评论(0) 推荐(0) 编辑

ELK 5.X版本遇到的坑

摘要：一、Kafka ->logstash ->elasticsearch logstash 5.X以上版本不兼容5.x以下版本，因此在升级logstash时会遇到很多坑。首先是配置的变化，可以参考如下配置：完成配置后可以通过如下命令来检测配置文件是否有语法错误：另外，elasticsearch 5. 阅读全文

posted @ 2017-03-21 21:46 moonandstar08 阅读(3590) 评论(0) 推荐(0) 编辑

2017年3月19日

elasticsearch常用命令

摘要： elasticsearch rest api遵循的格式为： 1、检查es版本信息 2、查看集群是否健康 3、查看节点列表 4、列出所有索引及存储大小 5、创建索引 6、添加一个类型 7、更新一个类型 8、删除指定索引 9、elasticsearch定期删除策略 http://www.jianshu. 阅读全文

posted @ 2017-03-19 21:25 moonandstar08 阅读(11386) 评论(1) 推荐(0) 编辑

logstash向elasticsearch写入数据，如何指定多个数据template

摘要：之前在配置从logstash写数据到elasticsearch时，指定单个数据模板没有问题，但是在配置多个数据模板时候，总是不成功，后来找了很多资料，终于找到解决办法，就是要多加一个配置项： template_name ，切该名字必须全部为小写。参考配置信息：模板的配置请参见：http://qi 阅读全文

posted @ 2017-03-19 21:15 moonandstar08 阅读(3727) 评论(0) 推荐(0) 编辑

异想天开

莫放春秋佳日过!!!

公告