摘要: zookeeper版本:zookeeper-3.4.10 启动zookeeper后,使用zkServer.sh status查看状态,发现zookeeper状态既不是leader也不是follower。状态如下: 对比所有zookeeper配置文件后,发现启动失败的设备配置和其他设备稍有不一样。 状 阅读全文
posted @ 2017-12-18 11:28 micmouse521 阅读(785) 评论(0) 推荐(0) 编辑
摘要: 最近使用filebeat进行日志采集,并通过logstash对日志进行格式化处理。 filebeat采集数据后,会给日志增加字段@timestamp,@timestamp是UTC时间,查看日志很不方便。 从网上找到了解决办法【http://blog.51cto.com/11067470/172987 阅读全文
posted @ 2017-12-15 18:16 micmouse521 阅读(7423) 评论(0) 推荐(0) 编辑
摘要: 运维常用linux命令整理 1.临时添加 2.永久添加 阅读全文
posted @ 2017-12-15 10:12 micmouse521 阅读(28246) 评论(0) 推荐(0) 编辑
摘要: 最近部署filebeat采集日志。 发现配置multiline后,日志偶尔会丢失数据,而且采集到的数据长度都不相同,所以和日志长度没有关系。 查阅filebeat官网后,找到了问题。filebeat有个配置max_lines,默认值为500。查看了我们的日志文件,发现需要合并的日志行数超过了500行 阅读全文
posted @ 2017-12-14 14:52 micmouse521 阅读(2598) 评论(0) 推荐(0) 编辑
摘要: wmware安装后,默认是动态ip地址。 在测试环境搭建虚拟机后,都需要使用静态ip地址。但是配置固定静态ip地址后,虚拟机总是不能上网和访问网站域名。 原来问题出在配置固定ip后配置的的网关和域名解析地址有问题。 以下是配置vmware的一点经验: 假设虚拟机所在网段为192.168.2,那么一般 阅读全文
posted @ 2017-12-13 10:28 micmouse521 阅读(242) 评论(0) 推荐(0) 编辑
摘要: 目前我们使用的elastic版本为2.3.5 当前版本没有直接的curl操作可以更改索引的名称,索引的副本数。 有直接更改索引副本数的api。 但是,我们可以通过elastic的快照功能来实现以上两种操作。 1.索引重命名 1.0 准备工作:停止对目标索引做插入数据操作 1.1 对需要重命名的索引做 阅读全文
posted @ 2017-12-12 17:35 micmouse521 阅读(4126) 评论(0) 推荐(0) 编辑
摘要: 最近因为yarn集群问题需要配置cgroup。但是配置完成后操作系统内核奔溃。 查找资料后发现升级内核可以解决问题。在领导的大力支持下,对生产环境的计算节点(nodemanager)进行了批量升级内核操作。 我们使用的操作系统为centos6.7 final版本,内核版本为2.6.32-573.e1 阅读全文
posted @ 2017-12-12 15:18 micmouse521 阅读(425) 评论(0) 推荐(0) 编辑