08 2020 档案
摘要：1.安装geoip ElasticSearch 可以使用 ingest-geoip 插件可以在 Kibana 上对 IP 进行地理位置分析， 这个插件需要 Maxmind 的 GeoLite2 City，GeoLite2 国家和 GeoLite2 ASN geoip2 数据库。有关更多详细信息，请参
阅读全文
摘要：1.收集多日志到ES 1）方式一： [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enable: true paths: - /var/log/nginx/access.log json.key
阅读全文
摘要：1.配置收集日志到logstash [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enable: true paths: - /var/log/nginx/access.log json.key
阅读全文
摘要：1）配置 [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enable: true paths: - /var/log/nginx/access.log json.keys_under_root:
阅读全文
摘要：1）配置 [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enable: true paths: - /var/log/nginx/access.log json.keys_under_root:
阅读全文
摘要：1.配置收集日志到文件 [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enable: true paths: - /var/log/nginx/access.log output.file: p
阅读全文
摘要：1.配置 filebeat.inputs: - type: log enable: true paths: - /var/log/nginx/access.log output.elasticsearch: hosts: ["10.0.0.51:9200"] 2.启动 [root@web01 ~]#
阅读全文
摘要：1.filebeat收集本地日志到文件配置 [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enable: true paths: - /var/log/messages output.file:
阅读全文
摘要：1.简介 Filebeat附带预构建的模块，这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置，每个Filebeat模块由一个或多个文件集组成，这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘。 Filebeat模块很好的入门
阅读全文
摘要：1.rsyslog介绍 在centos 6及之前的版本叫做syslog，centos 7开始叫做rsyslog，根据官方的介绍，rsyslog(2013年版本)可以达到每秒转发百万条日志的级别，官方网址：http://www.rsyslog.com/ 2.安装 [root@web01 ~]# yum
阅读全文
摘要：1.配置收集日志 [root@web01 ~]# vim /etc/logstash/conf.d/tcp.conf input { tcp { port => "1234" mode => "server" } } output { stdout {} } 2.使用telnet测试 [root@d
阅读全文
摘要：1.配置将数据写入redis [root@web01 ~]# vim /etc/logstash/conf.d/nginx_to_redis.conf input { file { path => "/var/log/nginx/access.log" start_position => "begi
阅读全文
摘要：1.方法一： 1）修改tomcat日志收集配置 [root@web01 ~]# vim /etc/logstash/conf.d/tomcat_json_es.conf input { file { path => "/usr/local/tomcat/logs/tomcat_access_json
阅读全文
摘要：1.安装Nginx [root@web01 ~]# yum install -y nginx 2.配置Nginx日志格式 [root@web01 ~]# vim /etc/nginx/nginx.conf ... ... http { log_format json '{"@timestamp":"
阅读全文
摘要：1.安装Tomcat 1.安装java环境 [root@web01 ~]# rpm -ivh jdk-8u181-linux-x64.rpm 2.上传包 [root@web01 ~]# rz apache-tomcat-10.0.0-M7.tar.gz 3.解压 [root@web01 ~]# ta
阅读全文
摘要：1.Logstash的配置文件 [root@web01 ~]# vim /etc/logstash/logstash.yml path.config: /etc/logstash/conf.d 2.logstash收集日志文件到文件 [root@web01 ~]# vim /etc/logstash
阅读全文
摘要：1.ES搭建 2.搭建 Logstash 1）安装java环境 1.上传java包 2.安装Java环境 2）时间同步 [root@web01 ~]# ntpdate time1.aliyun.com 3）安装Logstash 1.上传包 [root@web01 ~]# rz logstash-6.
阅读全文
摘要：1.ELK Stack 组成 Software Description Function E：Elasticsearch Java 程序 存储，查询日志 L：Logstash Java 程序 收集、过滤日志 K：Kibana Java 程序 提供 Web 服务，将数据页面化 F：Filebeat g
阅读全文
摘要：1.安装插件 [root@db01 ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v
阅读全文
摘要：1.安装npm环境 # 安装npm（只需要在一个节点安装即可，如果前端还有nginx做反向代理可以每个节点都装） [root@elkstack01 ~]# yum install -y npm # 进入下载head插件代码目录 [root@elkstack01 src]# cd /usr/local
阅读全文
摘要：1.ElasticSearch 集群相关概念 1.ES集群颜色状态 ①. — 红色：数据都不完整 ②. — 黄色：数据完整，但是副本有问题 ③. — 绿色：数据和副本全都没有问题 2.ES 集群节点类型 ①. — 主节点：负责调度分配数据 ②. — 数据节点：处理分配到自己的数据 3.ES 集群分片
阅读全文
摘要：1.创建索引 # 语法： PUT /<index> # 示例： PUT /laowang PUT xiaowang 2.创建数据 # 语法 PUT /<index>/_doc/<_id> POST /<index>/_doc/ PUT /<index>/_create/<_id> POST /<in
阅读全文
摘要：1.Curl 命令 # 建立索引 [root@dbtest01 ~]# curl -XPUT 'http://10.0.0.121:9200/test' # 插入数据 [root@dbtest01 ~]# curl -XPUT 'localhost:9200/student/user/1?prett
阅读全文
摘要：部署ES 1.服务器时间同步(注意：多台的时候字符集跟时间一定要一致) [root@db01 ~]# yum install -y ntpdate [root@db01 ~]# ntpdate time1.aliyun.com 2.安装java环境 # 上传 [root@db01 ~]# rz jd
阅读全文
摘要：1.生活中的数据分类 1.结构化数据 行数据，以二维表的形式展示的数据 2.非结构化数据 没有具体结构，视频，文本，音乐文件 3.半结构化数据 xml表格办公软件，HTML 2.搜索的种类 1.结构化数据搜索 结构化数据有固定结构，我们会给他建立关系，生成二维表查询 2.非结构化数据搜索 1.顺序扫
阅读全文
摘要：1.安装工具 # 1.安装依赖 [root@db02 ~]# yum install -y python-pip python-devel # 2.安装工具 [root@db02 ~]# pip install rdbtools python-lzf # 3.下载或上传 [root@db02 ~]#
阅读全文
摘要：1.安装迁移工具 #1.安装依赖 [root@db02 ~]# yum install -y automake libtool autoconf bzip2 #2.拉取工具 [root@db02 ~]# git clone https://github.com/vipshop/redis-migra
阅读全文
摘要：添加和删除节点的流程 1.新节点添加槽位 2.源节点中的数据进行迁移 3.源节点数据迁移完毕 4.迁移下一个槽位的数据，依次循环 1.添加节点 1.准备新机器 [root@db02 ~]# mkdir /service/redis/{6381,6382} [root@db02 ~]# vim /se
阅读全文
摘要：1.环境准备 节点 IP 端口 节点1 172.16.1.51 6379,6380 节点2 172.16.1.52 6379,6380 节点3 172.16.1.53 6379,6380 2.搭建redis(前面的章节都有) 3.启动所有redis(前面的章节都有) 4.安装集群插件 # EPEL源
阅读全文
摘要：1.环境准备 节点 IP 端口 节点1 172.16.1.51 6379,6380 节点2 172.16.1.52 6379,6380 节点3 172.16.1.53 6379,6380 2.搭建redis # 删除以前的redis数据 [root@db01 ~]# rm -rf /service/
阅读全文
摘要：1.什么是Redis Cluster 1.Redis集群是一个可以在多个Redis节点之间进行数据共享的设施（installation） 2.Redis集群不支持那些需要同时处理多个键的Redis命令，因为执行这些命令需要在多个Redis节点之间移动数据，并且在高负载的情况下，这些命令将降低Redi
阅读全文
摘要：1.环境准备 | 角色 | 主机 | IP | 端口 | | | | | | | 主库 | db01 | 172.16.1.51 | 6379 | | 从库 | db02 | 172.16.1.52 | 6379 | | 从库 | db03 | 172.16.1.53 | 6379 | 2.恢复主从
阅读全文
摘要：1.sentinel介绍 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案，当用Redis做Master-slave的高可用方案时，假如master宕机了，Redis本身(包括它的很多客户端)都没有实现自动进行主备切换，而Redis-sentinel本身也是一个独立运行的进
阅读全文
摘要：1.主从复制特点 1.使用异步复制。 2.一个主服务器可以有多个从服务器。 3.从服务器也可以有自己的从服务器。 4.复制功能不会阻塞主服务器。 5.可以通过复制功能来让主服务器免于执行持久化操作，由从服务器去执行持久化操作即可。 #详细版本 1）Redis 使用异步复制。从 Redis2.8开始，
阅读全文
摘要：1.创建多实例目录 [root@db01 ~]# mkdir /service/redis/{6380,6381} 2.配置多实例配置文件 #第一台多实例配置 [root@db01 ~]# vim /service/redis/6379/redis.conf bind 172.16.1.51 127
阅读全文
摘要：1.MySQL事务 #成功的事务 begin; sql1; sql2; ... commit; #失败的事务 begin; sql1; sql2; ... rollback; 2.redis事务命令 #1.开启事务 MULTI #2.结束事务（执行所有事务块内的命令） EXEC #3.取消事务（放弃
阅读全文
摘要：1.什么是消息队列 在生活中，其实有很多的例子，都类似消息队列。 比如：工厂生产出来的面包，交给超市，商场来出售，客户通过超市，商场来买面包，客户不会针对某一个工厂去选择，只管从超市买出来，工厂也不会管是哪一个客户买了面包，只管生产出来之后，交给超市，商场来处理。 消息队列（Message Queu
阅读全文
摘要：1.info命令 #查看redis相关信息 127.0.0.1:6379> info #服务端信息 # Server #版本号 redis_version:3.2.12 #redis版本控制安全hash算法 redis_git_sha1:00000000 #redis版本控制脏数据 redis_gi
阅读全文
摘要：String： 字符串类型 Hash： 哈希类型 List： 列表类型 Set： 集合类型 Sorted set： 有序集合类型 1.String： 字符串类型 1.添加数据 #语法 127.0.0.1:6379> set key value [EX seconds] [PX millisecond
阅读全文
摘要：1.应该应用哪一个 1.一般来说，如果想达到足以媲美 PostgreSQL 的数据安全性，你应该同时使用两种持久化功能。 2.如果你非常关心你的数据，但仍然可以承受数分钟以内的数据丢失，那么你可以只使用RDB持久化。 3.有很多用户单独使用AOF，但是我们并不鼓励这样，因为时常进行RDB快照非常方便
阅读全文
摘要：AOF（append only file）只追加文件，记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。 1.配置AOF持久化 #修改配置文件 [root@db01 redis]
阅读全文
摘要：1.什么是持久化 将内存中的数据写入到磁盘，永久保存 2.持久化的模式 1.RDB模式 2.AOF模式 3.RDB模式 可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot） 1.RDB工作模式 1.默认情况下，Redis保存数据集快照到磁盘，名为dump.rd
阅读全文
摘要：1.基本操作 1.连接redis [root@db01 redis]# redis-cli 127.0.0.1:6379> 2.查看所有数据 127.0.0.1:6379> keys * (empty list or set) #查看时注意不要轻易使用，如想查看数据，先查看数据量DBSIZE 127
阅读全文
摘要：1.下载软件包 [root@db01 ~]# rz redis-3.2.12.tar.gz 或者 [root@db01 ~]# wget http://download.redis.io/releases/redis-3.2.12.tar.gz 2.安装依赖 [root@db01 ~]# yum i
阅读全文
摘要：1.redis是什么 Redis是一款开源的，ANSI C语言编写的，高级键值(key-value)缓存和支持永久存储NoSQL数据库产品。 Redis采用内存(In-Memory)数据集(DataSet) 。 支持多种数据类型。 运行于大多数POSIX系统，如Linux、*BSD、OS X等。 r
阅读全文
摘要：1.编辑 [root@db03 ~]# vim /etc/profile.d/ps1.sh _set_prompt () { #see: http://misc.flogisoft.com/bash/tip_colors_and_formatting #Reset \e[0m ## Formatti
阅读全文
摘要：1.请写出什么是事务？ 将很多事件或者sql语句看作一个整体，每条语句都成功则都执行，当有一条语句失败都回滚 2.事务的特性是什么？ Atomic（原子性）：所有语句作为一个单元全部成功执行或全部取消。 Consistent（一致性）：如果数据库在事务开始时处于一致状态，则在执行该事务期间将保留一致
阅读全文
摘要：1.Max_connections 1.简介 Mysql的最大连接数，如果服务器的并发请求量比较大，可以调高这个值，当然这是要建立在机器能够支撑的情况下，因为如果连接数越来越多，mysql会为每个连接提供缓冲区，就会开销的越多的内存，所以需要适当的调整该值，不能随便去提高设值。 2.查看方式 mys
阅读全文
摘要：1.数据库硬件优化（选型） 1.一般数据库选择 1.真实的硬件，物理机 2.云产品ECS，自己搭建数据库 3.云数据库（RDS、DRDS） 2.数据库类型 1.OLTP 在线事务处理系统 支持大量并发用户定期添加和修改数据。 反映随时变化的单位状态，但不保存其历史记录。 包含大量数据，其中包括用于验
阅读全文
摘要：1.分表原因 1.数据过多，访问缓慢 2.创建索引时重新排序，创建缓慢，并且占用大量的磁盘空间 2.分表方式 1.根据数据范围分表 2.根据取模的方式(取余数) 3.Atlas分表 1.分表思路 1.确定分表的库，表，字段 2.确定分表的数量 3.分表的名字，stu_0,stu_1,stu_2 4.
阅读全文
