04 2020 档案
摘要:1、说明接下来,按照下图的结构:服务器上运行nginx和logstash agent,产生的nginx日志发往redis;redis起到发布订阅的作用;logstash 服务器获取Redis中的日志,发往ESnode1 -->ESnode2-->kibananode3-->logstash 服务器node4-->redis、nginx、logstash agent前面章节 ES、logstash、...
阅读全文
摘要:1、logstash简介 logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。首先将数据传给logstash,它将数据进行过滤和格式化(转成JSON格式),然后传给Elasticsearch进行存储、建搜索的索引,kibana提供前端的页面...
阅读全文
摘要:原文链接:https://blog.csdn.net/mingyuezh/article/details/80844925Region定位:系统如何找到某个row key (或者某个 row key range)所在的region?关于Region的查找,早期的设计(0.96.0)之前是被称之为三层查询架构,如下图所示:Region:就是要查找的数据所在的Region.META.:是一张元数据表,...
阅读全文
摘要:1、Elasticsearch查询语法Elasticsearch查询分为两类:分成两类: query dsl: 执行full-text查询时,基于相关度来评判其匹配结果; 查询执行过程复杂,且不会被缓存; filter dsl: 执行exact查询时,基于其结果为“yes“或“no”进行评判; 速度快,且结果缓存;其中:filter dsl:...
阅读全文
摘要:1、_cluster接口命令heakth: 集群健康状况:state: 查看集群节点:stats: 统计数据; 部分截图查看单个节点状况:[root@node1 ~]# curl -X GET 'http://node1:9200/_nodes/stats?pretty'2、Plugins(插件)插件扩展ES的功能: 添加自定义的映射类型、自定义分析器、本地脚本、自定义发现方式;安装:...
阅读全文
摘要:原文:https://www.jianshu.com/p/4e72b22edf49 1、数据仓库与数据库 数据仓库是数据库概念的升级,和数据库相比,数据仓库要比数据库更加庞大; 数据仓库主要用于分析数据,数据库主要用于捕获数据; 数据仓库主要存储历史数据,数据库存储在线交易数据; 数据仓库的基本元素
阅读全文
摘要:1、ElasticSearch ES是一个基于Lucene实现的开源、分布式、Restful的全文本搜索引擎; 此外,它还是一个分布式实时文档存储,其中每个文档的每个field均是被索引的数据,且可被搜索; 也是一个带实时分析功能的分布式搜索引擎,能够扩展至数以百计的节点实时处理PB级的效据。 2、
阅读全文
摘要:1、编写playbook还是接着上一节的内容,在windows本地的repo目录中已经有了ansible-playbook-repo项目;在ansible-playbook-repo中,再复制一份playbook出来:然后修改wordpress_playbooks中的内容:cd wordpress_playbooks/#-----vim deploy.yml- hosts: "wordpress"...
阅读全文
摘要:1、service工作模式 userspace、iptables、ipvs userspace:1.1- iptables: 1.10- ipvs: 1.11+ 资源清单的定义字段查询: [root@master ~]# kubectl explain svc [root@master ~]# ku
阅读全文
摘要:一、关于控制器Kubernetes中内建了很多controller(控制器),这些相当于一个状态机,用来控制Pod的具体状态和行为。Pod :1)自主式pod(指定调度到某节点,如节点down, pod 无法恢复)2)控制器管理pod 一般有如下控制器 不同类型的控制器用于不同类似的pod ReplicationController (控制副本数,滚动更新) ReplicaSet ...
阅读全文
摘要:1、k8s中的资源什么叫资源?k8s中所有的内容都抽象为资源, 资源实例化之后,叫做对象在k8s中有哪些资源?工作负载型资源(workload): Pod ReplicaSet Deployment StatefulSet DaemonSet Job CronJob (ReplicationController在v1.11版本被废弃)服务发现及负载均衡型资源: ServiceDis...
阅读全文
摘要:1、查看kubectl命令帮助kubectl –h 1 kubectl controls the Kubernetes cluster manager. 2 Find more information at: https://kubernetes.io/docs/reference/kubectl/overview/ 3 Basic Commands (Beginner): #基本命令...
阅读全文
摘要:1、kubernetes集群架构图master节点:kubectl : 客户端命令行工具,将接受的命令格式化后发送给kube-apiserver,作为整个系统的操作入口; kube-apiserver: 集群的统一入口,各组件协调者,HTTP API提供接口服务,所有对象资源的增删改查和监听都交给a
阅读全文
摘要:1、Freestyle Job实现静态网站部署交付流程:三剑客平台初始环境构建;编写ansible playbook脚本实现静态网页远程部署;将playbook部署脚本提交到GitLab仓库;构建Freestyle Job任务框架;Jenkins集成Anisble与Gitlab实现静态网页的自动化部署;(1)环境在前面章节都已经搭建完成了;(2)然后:在gitlab中创建一个项目:ansible-...
阅读全文
摘要:1、Jenkins Git集成新建任务:构建:2、Jenkins maven集成jenkins服务器安装maven:[root@jenkins ~]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz[root@jenkins ~]#...
阅读全文
摘要:1、Jenkins Linux shell集成新建任务:添加描述:编写脚本:构建:详细信息:2、Jenkins参数集成新建任务:添加描述:参数化项目:构建脚本:
阅读全文
摘要:1、jenkins job介绍 --代表一个任务或者项目 --可配置与可执行 --执行后的记录称之为Build --日志监控与记录 --所有文件集中保存 2、Jenkins Freestyle与Pipeline Job区别 1)Freestyle Job: 1.需在页面添加模块配置项与参数完成配置;
阅读全文
摘要:login_required是对Auth认证模块的补充,Auth模块: https://www.cnblogs.com/weiyiming007/p/12419317.html1、login_required介绍判断用户是否登录, 如果用户没有登录, 默认会跳转到'/accounts/login/', 并且URL会自动加上你请求的url作为登录后的跳转地址, 如:'/accounts/login...
阅读全文
摘要:1、什么是Jenkins?Jenkins是一个开源持续集成工具;开发工具:JAVA功能:提供了软件开发的持续集成服务;特点:支持主流软件配置管理,配合实现软件配置管理,持续集成功能;2、Jenkins的优势和应用场景主流的运维开发平台,兼容所有主流开发环境;插件市场可与海量业内主流开发工具实现集成;Job为配置单位与日志管理,使运维与开发人员能协同工作;权限管理划分不同Job不同角色;强大的负载均...
阅读全文
摘要:一、常用模块介绍1、File模块#在目标主机创建文件或目录,并赋予其系统权限;- name:create a file file: ‘path=/root/foo.txt state=touch mode=0755 owner=foo group=foo'2、Copy模块# 实现Ansible服务端到目标主机的文件传送- name:copy a file copy: 'remote_src...
阅读全文
摘要:1、关于ansible 1)什么是ansible Ansible是一个开源部署工具 开发语言:Python 特点:SSH协议通讯,全平台,无需编译,模块化部署管理 作用:推送Playbook进行远程节点快速部署 2)Ansible与Chef,Saltstack的不同 Chef Ruby语言编写,C/
阅读全文
摘要:1、定义一个类class MyObj: def __init__(self, name, age): self.name = name self.age = age def myFunc(self): passmo = MyObj('Boby', 24)print(mo)print(mo.__dict__)#结果{'name': 'Boby',...
阅读全文