摘要: 1 消息队列解耦综合实践 1.将所有需要收集的日志写入一个配置文件,发送至node4的Redis服务(以下配置文件在各个节点上)。 [root@linux-node3 ~]# cat /etc/logstash/conf.d/input_file_output_redis.conf input { 阅读全文
posted @ 2018-01-30 16:20 活的潇洒80 阅读(292) 评论(0) 推荐(0) 编辑
摘要: 上线ELKstack前,先做好如下规范能更好的开启ELKstack之旅。 1.标准化: 1.路径规划: /data/logs/,/data/logs/access,/data/logs/error,/data/logs/run 2.格式要求: 严格要求使用json 3.命名规则: access_lo 阅读全文
posted @ 2018-01-30 15:54 活的潇洒80 阅读(420) 评论(0) 推荐(0) 编辑
摘要: Logstach收集rsyslog日志 Logstach收集tcp日志 Logstach收集java日志 Logstach收集nginx日志 Logstach收集rsyslog日志 1.修改rsyslog.conf配置文件 [root@linux-node3 elasticsearch]#vim / 阅读全文
posted @ 2018-01-30 15:48 活的潇洒80 阅读(147) 评论(0) 推荐(0) 编辑
摘要: Logstach收集rsyslog日志 Logstach收集tcp日志 Logstach收集java日志 Logstach收集nginx日志 Logstach收集rsyslog日志 1.修改rsyslog.conf配置文件 [root@linux-node3 elasticsearch]#vim / 阅读全文
posted @ 2018-01-30 15:47 活的潇洒80 阅读(286) 评论(0) 推荐(0) 编辑
摘要: 一、Kibana简介 Kibana 是为 Elasticsearch 设计的开源分析和可视化平台。你可以使用 Kibana 来搜索,查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化,以图表的形式展现出来。 Kibana版本有如下版本 Kibana 阅读全文
posted @ 2018-01-30 15:30 活的潇洒80 阅读(173) 评论(0) 推荐(0) 编辑
摘要: 一、Logstash介绍 Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索),您可以使用它。说到搜索,logstash带有一个web界面,搜索和展示所有日志。 kibana也是一个开源和免费的工具,他可以帮助您汇总、分析和搜索重要数据日志并提供友好 阅读全文
posted @ 2018-01-30 15:24 活的潇洒80 阅读(226) 评论(0) 推荐(0) 编辑
摘要: ES集群介绍 ES默认使用组播的方式进行通讯,当我们将另外一台服务器配置完成后它就会去找其他节点 我们只需要将cluster.name:ES集群名字设置相同即可 [root@abcdocker ~]# grep '^[a-Z]' /etc/elasticsearch/elasticsearch.ym 阅读全文
posted @ 2018-01-30 15:17 活的潇洒80 阅读(122) 评论(0) 推荐(0) 编辑
摘要: 没有日志分析系统 1.1运维痛点 1.运维要不停的查看各种日志。 2.故障已经发生了才看日志(时间问题。) 3.节点多,日志分散,收集日志成了问题。 4.运行日志,错误等日志等,没有规范目录,收集困难。 1.2环境痛点 1.开发人员不能登陆线上服务器查看详细日志。 2.各个系统都有日志,日志数据分散 阅读全文
posted @ 2018-01-30 15:13 活的潇洒80 阅读(360) 评论(0) 推荐(0) 编辑
摘要: 1.Git标签管理 当版本仓库内的数据有个大的改善或者功能更新,我们经常会打一个类似于软件版本号的标签,这样通过标签就可以将版本库中的某个历史版本给记录下来,方便我们随时将特定历史时期的数据取出来用,另外打标签其实只是像某个历史版本做了一个指针,所以一般都是瞬间完成的。 1.1创建本地标签 创建带有 阅读全文
posted @ 2018-01-30 10:43 活的潇洒80 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 1.Git分支管理 分支即是平行空间,假设你在为某个手机系统研发拍照功能,代码已经完成了80%,但如果将这不完整的代码直接提交到git仓库中,又有可能影响到其他人的工作,此时我们便可以在该软件的项目之上创建一个名叫“拍照功能”的分支,这种分支只会属于你自己,而其他人看不到,等代码编写完成后再与原来的 阅读全文
posted @ 2018-01-30 10:39 活的潇洒80 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 1.Git仓库管理 现在本地已经创建了git仓库,又在gitlab上创建了一个git仓库,并且让这两个仓库进行远程同步,这样gitlab仓库既可以备份也可以与他人协作管理远程仓库以及根据需要推送或拉取数据。 管理远程仓库包括了如何添加远程仓库、移除无用远程仓库、查看远程仓库、修改远程仓库等等。 1. 阅读全文
posted @ 2018-01-30 10:28 活的潇洒80 阅读(298) 评论(0) 推荐(0) 编辑
摘要: 1.Git安装部署 Git是分布式的版本控制系统,我们只要有了一个原始Git版本仓库,就可以让其他主机克隆走这个原始版本仓库,从而使得一个Git版本仓库可以被同时分布到不同的主机之上,并且每台主机的版本库都是一样的,没有主次之分,极大的保证了数据安全性,并使得用户能够自主选择向那个Git服务器推送文 阅读全文
posted @ 2018-01-30 10:13 活的潇洒80 阅读(297) 评论(0) 推荐(0) 编辑
摘要: 1.Gitlab安装 1.安装和配置必要的依赖关系 在CentOS7,下面的命令将在系统防火墙打开HTTP和SSH访问。 yum install curl openssh-server postfix systemctl enable sshd postfix systemctl start ssh 阅读全文
posted @ 2018-01-30 10:00 活的潇洒80 阅读(153) 评论(0) 推荐(0) 编辑
摘要: 1.自动化安装 采购-->验货-->签字,验货单,盖公章。 资产管理:资产录入-->机房、区域、排、机柜、位置、配置(资产管理,验收单)(自动化获取) RAID-(验货的时候)RAID。自动化进行配置 CMDB:资产录入-->机房、区域、排、机柜、位置、配置。MAC地址清单。+(后期收集)资产收集、 阅读全文
posted @ 2018-01-30 09:50 活的潇洒80 阅读(1297) 评论(0) 推荐(0) 编辑
摘要: 声明规范 <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.a 阅读全文
posted @ 2018-01-30 09:32 活的潇洒80 阅读(290) 评论(0) 推荐(0) 编辑
摘要: 摘要 Jenkins只是一个平台,真正运作的都是插件。这就是jenkins流行的原因,因为jenkins什么插件都有。Hudson是Jenkins的前身,是基于Java开发的一种持续集成工具,用于监控程序重复的工作,Hudson后来被收购,成为商业版。后来创始人又写了一个jenkins,jenkin 阅读全文
posted @ 2018-01-30 09:21 活的潇洒80 阅读(530) 评论(0) 推荐(0) 编辑
摘要: 一、代码流水线管理 Pipeline名词顾名思义就是流水线的意思,因为公司可能会有很多项目。如果使用jenkins构建完成后,开发构建项目需要一项一项点击,比较麻烦。所以出现pipeline名词。 代码质量检查完毕之后,我们需要将代码部署到测试环境上去,进行自动化测试 新建部署代码项目 点击新建 这 阅读全文
posted @ 2018-01-30 09:02 活的潇洒80 阅读(371) 评论(0) 推荐(0) 编辑
摘要: 持续集成之代码质量管理-Sonar [三] Sonar介绍 Sonar 是一个用于代码质量管理的开放平台。通过插件机制,Sonar 可以集成不同的测试工具,代码分析工具,以及持续集成工具。与持续集成工具(例如 Hudson/Jenkins 等)不同,Sonar 并不是简单地把不同的代码检查工具结果( 阅读全文
posted @ 2018-01-30 08:59 活的潇洒80 阅读(410) 评论(0) 推荐(0) 编辑
摘要: 项目:使用git+jenkins实现持续集成 开始构建 General 源码管理 我们安装的是git插件,还可以安装svn插件 我们将git路径存在这里还需要权限认证,否则会出现error 我们添加一个认证 选择一下认证方式(我们可以在系统管理-->Configure Credentials)里面进 阅读全文
posted @ 2018-01-30 08:49 活的潇洒80 阅读(472) 评论(0) 推荐(0) 编辑
摘要: 持续集成概念 1.1 什么是持续集成: 持续集成是指开发者在代码的开发过程中,可以频繁的将代码部署集成到主干,并进程自动化测试 1.3 什么是持续交付: 持续交付指的是在持续集成的环境基础之上,将代码部署到预生产环境 1.4 持续部署: 在持续交付的基础上,把部署到生产环境的过程自动化,持续部署和持 阅读全文
posted @ 2018-01-30 08:40 活的潇洒80 阅读(949) 评论(0) 推荐(0) 编辑