12 2020 档案

持续集成简介
摘要：一、软件开发生命周期 软件开发生命周期又叫做SDLC(Software Development Life Cycle)，它是集合了计划、开发、测试 和部署过程的集合。 1.需求分析 这是生命周期的第一阶段，根据项目需求，团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的。这阶段主要是 阅读全文
posted @ 2020-12-25 18:51 nick_xm 阅读(832) 评论(0) 推荐(0)
redis clusert分布式集群
摘要：一，Redis Cluster 分布式集概述 0）Redis Cluster 是社区版推出的 Redis 分布式集群解决方案，主要解决 Redis 分布式方面的需求，比如，当遇到单机内存，并发和流量等瓶颈的时候，Redis Cluster 能起到很好的负载均衡的目的。 1）Redis集群是一个可以在 阅读全文
posted @ 2020-12-18 21:28 nick_xm 阅读(268) 评论(0) 推荐(1)
redis 哨兵
摘要：一，哨兵概述 哨兵（sentinel），用于对主从结构中的每一台服务器进行监控，当主节点出现故障后通过投票机制来挑选新的主节点，并且将所有的从节点连接到新的主节点上。前面的主从是最基础的提升Redis服务器稳定性的一种实现方式，但我们可以看到master节点仍然是一台，若主节点宕机，所有从服务器都不 阅读全文
posted @ 2020-12-18 20:57 nick_xm 阅读(133) 评论(0) 推荐(0)
redis 主从复制
摘要：一，redis主从复制原理 1、主从复制过程大体可以分为3个阶段 1.连接建立阶段（即准备阶段） 2.数据同步阶段 3.命令传播阶段 2、在从节点执行 slaveof 命令后，复制过程便开始按下面的流程运作 1.保存主节点信息：配置slaveof之后会在从节点保存主节点的信息。 2.主从建立sock 阅读全文
posted @ 2020-12-18 19:34 nick_xm 阅读(150) 评论(0) 推荐(0)
Redis新特性ACL安全策略
摘要：一，redis新特性ACL安全策略介绍 在 Redis6 之前的版本，我们只能使用 requirepass 参数给 default 用户配置登录密码，同一个 redis 集群的所有开发都共享 default 用户，难免会出现误操作把别人的 key 删掉或者数据泄露的情况 因此 Redis6 版本推出 阅读全文
posted @ 2020-12-16 16:50 nick_xm 阅读(1329) 评论(0) 推荐(0)
redis 快照持久化RDB和AOF
摘要：一，redis快照持久化RDB介绍 RDB(Redis DataBase)是将 Redis 内存中的数据进行 Snaptshot 快照存储在磁盘内，是 Redis 的默认持久化 方案。使用 RDB 持久化默认有三种策略，该持久化策略在 redis.conf 中可配置，会以一段时间内有指定次数据 修改 阅读全文
posted @ 2020-12-15 19:21 nick_xm 阅读(332) 评论(0) 推荐(0)
redis 基础常用命令
摘要：一，redis基础常用命令 keys * # 查看所有key type mylist # 查看 key randomkey # 随机返回一个 key del key # 删除key可以删除多个 exists key # 判断key存不存在（不存在返回0 有几个存在返回几） rename myset 阅读全文
posted @ 2020-12-15 15:23 nick_xm 阅读(78) 评论(0) 推荐(0)
redis 安装部署
摘要：一，redis下载并安装 下载 Redis 可以去 Redis 官网获取源码包，下载到服务器上编译。Redis 官网（https://redis.io/）。进入下载页 面（https://redis.io/download），从左到右分别是最新版、最新稳定版和容器版，我们可以下载最新稳定版的 源码包 阅读全文
posted @ 2020-12-14 21:18 nick_xm 阅读(327) 评论(0) 推荐(0)
redis 初始
摘要：一，redis简介 REmote DIctionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统。 Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、 Key-V 阅读全文
posted @ 2020-12-14 20:17 nick_xm 阅读(106) 评论(0) 推荐(0)
mongodb 基本操作
摘要：mongodb基本操作 1.基本操作 1.连接mongodb [mongo@redis01 ~]$ mongo # 创建用户 添加用户 db.createUser( { user: "sa", pwd: "sa", roles: [ { role: "root", db: "admin" } ] } 阅读全文
posted @ 2020-12-10 19:52 nick_xm 阅读(104) 评论(0) 推荐(0)
MongoDB 登录警告处理
摘要：一、MongoDB登录警告处理 1.警告内容 The server generated these startup warnings when booting: 2020-12-11T00:25:39.415+08:00: The configured WiredTiger cache size i 阅读全文
posted @ 2020-12-10 19:49 nick_xm 阅读(1368) 评论(0) 推荐(0)
mongoDB 安转部署
摘要：一、MongoDB安装部署 1.安装依赖 [root@redis01 ~]# yum install -y libcurl openssl 2.上传或者下载包 [root@redis01 ~]# rz [root@redis01 ~]# ll -rw-r--r-- 1 root root 14405 阅读全文
posted @ 2020-12-10 19:46 nick_xm 阅读(123) 评论(0) 推荐(0)
mongoDB 初始
摘要：一、NoSQL介绍 1.简介 NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。 在现代的计算系统上每天网络上都会产生庞大的数据量，这些数据有很大一部分是由关系数据库管理系统（RDBMS）来处理，还有很多数据是由分关系型数据库处理的 NoSQL，指的是非关系型的数据库 阅读全文
posted @ 2020-12-10 19:44 nick_xm 阅读(114) 评论(0) 推荐(0)
filebeat 收集日志
摘要：一、filebeat收集单日志到本地文件 1.配置 [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /var/log/nginx/access.log 阅读全文
posted @ 2020-12-10 11:07 nick_xm 阅读(318) 评论(0) 推荐(0)
logstash 收集日志到redis
摘要：一、Logstash与Redis那点事 在企业中，日志规模的量级远远超出我们的想象，这就是为什么会有一家公司 日志易 专门做日志收集，给大型金融公司收集日志，比如银行，因为你有可能看到，1秒钟好几千万的日志量，往服务器写入，那么企业中的集群，架构都不是单台的，而是多台的，一台如果是1千万，那么5台的 阅读全文
posted @ 2020-12-09 11:51 nick_xm 阅读(264) 评论(0) 推荐(0)
filebeat 初始
摘要：filebeat学习 一、介绍 1.描述 Filebeat附带预构建的模块，这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置，每个Filebeat模块由一个或多个文件集组成，这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘。 阅读全文
posted @ 2020-12-09 10:50 nick_xm 阅读(90) 评论(0) 推荐(0)
收集TCP/UDP日志
摘要：收集TCP/UDP日志 通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 1.配置Logstash #进入Logstash配置文件目录 [root@redis 阅读全文
posted @ 2020-12-09 10:12 nick_xm 阅读(306) 评论(0) 推荐(0)
使用logstash配置rsyslog收集haproxy日志
摘要：一，使用logstash配置rsyslog收集haproxy日志 1.rsyslog介绍 在centos 6及之前的版本叫做syslog，centos 7开始叫做rsyslog，根据官方的介绍，rsyslog(2013年版本)可以达到每秒转发百万条日志的级别，rsyslog是日志收集处理工具 它提供 阅读全文
posted @ 2020-12-09 10:08 nick_xm 阅读(312) 评论(0) 推荐(0)
kibana 页面作图
摘要：一、kibana页面作图（简单） 查看日志，就算改成json格式，kibana收集到之后展示时还是一坨，我们想要用数据作图，必须将其修改为json格式，让索引支持使用日志中的key 1.修改logstash获取Tomcat日志作图 [root@web01 ~]# cat /etc/logstash/ 阅读全文
posted @ 2020-12-08 11:13 nick_xm 阅读(193) 评论(0) 推荐(0)
logstash 收集tomcat日志
摘要：四、logstash收集tomcat日志 在企业中，我们看到tomcat日志遇到异常(exception)一条日志可能是几行或者十几行甚至几十行， 组成的，那么，我们需要将多行日志变成一行日志，来收集 1.tomcat日志收集方式 这里我们有几种方式可以实现： 1.将日志改成Json格式 在企业中， 阅读全文
posted @ 2020-12-08 10:59 nick_xm 阅读(812) 评论(0) 推荐(0)
logstash 收集nginx日志
摘要：一、logstash使用学习 不难理解，我们的日志通常都是在日志文件中存储的，所以，当我们在使用INPUT插件时，收集日志，需要使用file模块，从文件中读取日志的内容，那么接下来讲解的是，将日志内容输出到另一个文件中，如此一来，我们可以将日志文件同意目录，方便查找。 注意：Logstash与其他服 阅读全文
posted @ 2020-12-04 20:09 nick_xm 阅读(1759) 评论(0) 推荐(0)
es 插件kibana介绍
摘要：kibana区域定义 1.时间区域： 1）快速查询 2）时间范围查询 3）精确时间范围查询 4）使用过的时间区域 2.搜索区域： 可以根据关键字，状态码等搜索需要的数据 3.数据展示区域： 将收集的对应索引的日志展示在页面上 4.日志列表区域： 可以选择需要的字段进行数据的展示，不需要的可以移除 阅读全文
posted @ 2020-12-04 19:45 nick_xm 阅读(315) 评论(0) 推荐(0)
elk 介绍与logstash插件
摘要：一，ELK介绍 1.什么是ELK ELK是三个软件组成的 E：elasticsearch #java程序 存储，查询日志 L：logstash #java程序 收集，过滤日志 K：kibana #java程序 展示，数据页面化 F：filebeat #go语言 收集，过滤日志 2.ELK的作用 1. 阅读全文
posted @ 2020-12-03 19:45 nick_xm 阅读(171) 评论(0) 推荐(0)
es 中文分词器IK
摘要：一，lk分词器概述 1.1 IK分词器简介 IKAnalyzer 是一个开源的，基于 Java 语言开发的轻量级的中文分词工具包，从 2006 年 12 月推出 1.0 版开始，IKAnalyzer 已经推出了 3 个大版本。最初，它是以开源项目 Lucene 为应用主体的，结合词典分词和文法分析算 阅读全文
posted @ 2020-12-03 09:58 nick_xm 阅读(696) 评论(0) 推荐(0)
es 备份与恢复
摘要：一、数据的备份和恢复 1.1安装es-dump 第一步：下载node依赖包 官网下载地址：nodejs.org Download | Node.js node-v10.16.3-linux-x64.tar.xz 第二步解压部署软件 tar xf node-v10.16.3-linux-x64.tar 阅读全文
posted @ 2020-12-03 09:32 nick_xm 阅读(572) 评论(0) 推荐(0)
es 的集群介绍以及集群优化
摘要：一、集群的介绍 1.集群的介绍 1.集群部署好以后，不论在哪一台节点操作，都可以互相看到数据 2.head插件连接任意一台机器都能看到三台 3.数据会自动调度到多个分片 4.如果主节点的分片出现故障，副节点的分片会自动切换为主分片 5.如果主节点出现问题，那么数据节点会自动切换为主节点 2.查看集群 阅读全文
posted @ 2020-12-02 20:07 nick_xm 阅读(584) 评论(0) 推荐(0)
es 集群搭建
摘要：一、ES集群 1.ES插件页面 1）集群状态 1.红色：数据不完整 2.黄色：数据完整，但是副本有问题 3.绿色：数据和副本全部都没有问题，集群状态正常 2）节点类型 1.主节点：负责调度分配数据存储 2.数据节点：负责储存由主机点传来的数据 3）分片 1.主分片：存储数据，负责读写数据 2.副本分 阅读全文
posted @ 2020-12-01 19:39 nick_xm 阅读(335) 评论(0) 推荐(0)
es 的数据操作
摘要：一、ES数据的操作 1.创建索引 1）语法 PUT /<index> 2）示例 PUT /index curl -XPUT 'http://10.0.0.71:9200/index' 2.创建数据 1）数据结构 ES存储三个必要构成 _index _type _id 构成 说明 _index 索引（ 阅读全文
posted @ 2020-12-01 19:33 nick_xm 阅读(491) 评论(0) 推荐(0)