03 2019 档案
摘要：一直性Hash算法在很多场景下都有应用，尤其是在分布式缓存系统中，经常用其来进行缓存的访问的负载均衡，比如：redis等<k,v>非关系数据库作为缓存系统。我们首先来看一下采用取模方式进行缓存的问题。 一致性Hash算法的使用场景 假设我们的将10台redis部署为我们的缓存系统，存储<k,v>数据
阅读全文
摘要：学习varnish的不错的网站 https://blog.51cto.com/harisxiong/1556778 https://www.cnblogs.com/heiye123/articles/7774146.html https://blog.51cto.com/xinzong/178266
阅读全文
摘要：1、Keepalived高可用软件 Keepalived软件起初是专为LVS负载均衡软件设计的，用来管理并监控LVS集群系统中各个服务节点的状态，后来又加入了可以实现高可用的VRRP功能。因此，keepalived除了能够管理LVS软件外，还可以作为其他服务的高可用解决方案软件。 keepalive
阅读全文
摘要：什么是YAML？ YAML是一种标记语言。适合用来表达层次结构式的数据结构。 YAML的基本组件：清单（短杠——空白字符）和散列表（短杠+空白字符分隔key:value对）。 条件测试： when语句：在task中使用，jinja2的语法格式，示例： ansible会去判断符合条件的才会去运行。 循
阅读全文
摘要：基础知识补充： 用户通过ANSIBLE来下达指令，通常是逐条命令执行。可以通过公有/私有云来实现远程管理. 主机库存中包含着所有主机的列表，通过主机分组及连接插件来实现管理不同的主机，给一些主机升级，一些主机创建用户等目的。 剧本是用在批量，定期做例行性工作的时候，比如定期做备份等等。在复杂一些的情
阅读全文
摘要：01. 列举常见的关系型数据库和非关系型都有那些？ 1.关系型数据库通过外键关联来建立表与表之间的关系， 常见的有：SQLite、Oracle、mysql 2.非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定 常见的有：MongoDb、redis 02
阅读全文
摘要：1、zookeeper概念介绍 在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。 这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务
阅读全文
摘要：我们在容器中运行docker镜像的时候，可以指定一些设置容器cpu和内存的相关参数来进行限制，这样子尽量把容器资源做的相对稳定一些。这些参数是在docker run/create命令使用，比如： --memory-swap * 强依赖于--memory选项，但是--memory可单独使用，下面这个图
阅读全文
摘要：1、Harbor是什么？ Harbor是Vmvare中国团队开发的开源registry仓库，相比docker官方拥有更丰富的权限权利和完善的架构设计，适用大规模docker集群部署提供仓库服务。在企业中很受欢迎，并且还是开源免费的，可接入LDAP进行认证权限管理。 Harbor主要有五大组件： 架构
阅读全文
摘要：1、首先是拉取一个镜像，并启动之。我这里使用busybox作为测试 busybox镜像一启动默认是进入“sh”的shell交互终端，这是因为该busybox默认启动就是运行“sh”命令。我们想一启动这个镜像就可以运行httpd程序。 2、我们再打开一个新的终端，然后制作镜像，修改默认运行的命令 上面
阅读全文
摘要：向仓库推镜像 1、 登录到阿里云docker镜像站点，然后创建仓库。 2、要按照阿里云官方给定的仓库名称来使用，所以我们一般都要继续给准备要上传的镜像二次添加标签，如下所示： 3、在终端登录阿里云站点。 镜像上传成功。 打包镜像： 步骤参考以下这个图片： 案例演示： 1、首先是打包镜像 2、解压镜像
阅读全文
摘要：操作演示： 1、查看一个容器的版本 2、查找指定的镜像 3、查看已安装的镜像 4、从hub.docker.com网站拉取镜像 5、拉取busybox 6、删除一个镜像 7、查看已安装镜像的完整的IMAGE ID 8、查看容器中运行了哪些服务（包含启动和停止的） 还要关注STATUS的这个值，这个值显
阅读全文
摘要：讲一个简单的案例 @哈希码用来校验，这样子会安全 MAINTANIER可能将会被LABEL代替，仅仅说说明一下镜像信息罢了。 1、首先是我们创建一个镜像 输入以下内容： 正文的第一行必须是FROM开头。#号表示注释。 CPOY命令是复制一个文件，index.html这个文件必须与Dockerfile
阅读全文
摘要：docker容器自身存储数据效率比较低，因此我们为了提高磁盘IO的性能等，需要在容器中挂载一个外部存储设备。关于讲解大致如下： 接下来我们讲解一下案例： 1、docker有两种卷管理的方式： 区别就是：第一种是容器内部指定保存的路径并绑定物理卷的路径映射，第二种是容器内部指定保存数据的路径，但是外部
阅读全文
摘要：1、第一种，直接在配置文件中自定义时间格式 这是tomcat配置文件中的一段日志时间配置，按照这样的配置，那么输出的日志是这样子的： 然后你继续在logstash中这样子配置 此时logstash就不会报"_dateparsefailed"错误了。 这种形式在nginx、apache等web服务器中
阅读全文
摘要：1、先查看之前的状态日志输出格式：在logs/catalina.out这个文件中 最上面的日志格式我们可能不太习惯使用，所以能输出下面的格式是最好的，当然需要我们自定义日志格式，接下来看看如何修改 2、打开conf/loggind.proterties这个文件，按照如下所示修改 在此文件中添加如下内
阅读全文
摘要：这个案例中，tomcat产生的日志由filebeat收集，然后存取到redis中，再由logstash进行过滤清洗等操作，最后由elasticsearch存储索引并由kibana进行展示。 1、配置tomcat自定义日志 需要注意的是第一个X-Forwarded-For表示获取一个ip列表，但只有第
阅读全文
摘要：使用fpm制作rpm包 安装如下 [root@web01 ~]# yum install -y gcc zlib zlib-devel wget http://ruby.taobao.org/mirrors/ruby/ruby-1.8.7-p358.tar.gz wget http://files.rubyforge.vm.bytemark.co.uk/rubygems/rubygems-1...
阅读全文
摘要：1、查看集群健康状态 2、查看集群节点 3、查看master节点状态 4、查看ES集群安装了什么插件 没有任何插件此时 5、查看集群索引 6、自定义显示节点状态。 先获取帮助 有非常多，想获取哪个就可以获取哪个。比如如下所示： 7、显示当前节点的ES信息 看到“you knoe , foe sear
阅读全文
摘要：一、Linux集群类型、系统扩展方式及调度方法 1.概念 Linux cluster，Linux集群系统是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。一个集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系
阅读全文
摘要：LNMP环境肯定是先要配置好的。可以参考我之前的博客。那我们直接进行配置，我这里使用了三台机器进行动静分离部署，第一台负责nginx反向代理，第二台负责php-fpm应用程序以及mariadb的服务器。第三台是静态网页存放站点。 1、首先是配置nginx。 在上面的配置中，我们把访问动态php的网页
阅读全文
摘要：ngx_http_proxy_module只能反向代理后端使用HTTP协议的主机。而ngx_http_fastcgi_module只能反向代理后端使用FPM或者使用FastCGI协议的客户端。 一、部署LNMP 1、首先安装必要的包 2、接下来我们还要修改php-fpm的配置文件 主要是修改以下几处
阅读全文
摘要：一、反向代理配置 1、反向代理服务器配置如下 反向代理就是需要这一行proxy_pass来完成。当我们要访问后端web服务器的时候，我们只需要访问代理服务器就可以了，此时代理服务器就充当后端web服务器的角色。proxy_pass依赖的模块是： 至于后两行是什么意思呢？ “proxy_set_hea
阅读全文
摘要：web服务器httpd中想要获取真正的ip是个难度，我们先要在配置文件中定义错误日志的格式：如下所示： 然后获取ip 上面三条输出日志中，第一条是直接访问http://172.16.213.157/img/， 此时client_ip和direct_ip内容是相同的，但在日志中显示client_ip为
阅读全文
摘要：nginx配置文件详细解说： 一、配置指令 1、main配置段常见的配置指令： 1）分类： 正常运行必备的配置 优化性能相关的配置 用于调试及定位问题相关的配置 时间驱动相关的配置 2、正常运行必备的配置 1）user systax：user user [group]; #可以配置一个组，不过一般默
阅读全文
摘要：1、nginx的工作模式 master/worker工作模式： 一个master进程： 负载加载和分析配置文件、管理worker进程、平滑重启升级等。 一个或多个worker进程 处理并响应用户请求 缓存相关的进程： cache loader：载入缓存对象 cache manager：管理缓存对象
阅读全文
摘要：I/O模型： 阻塞型、非阻塞型、复用型、信号驱动型、异步 同步/异步： 关注消息通知机制 消息通知： 同步：等待对方返回消息 异步：被调用者通过状态、通知或回调机制通知调用者被调用者的运行状态 阻塞/非阻塞： 关注调用者在等待结果返回之前所处的状态 阻塞：blocking，调用结果返回之前，调用者被
阅读全文
摘要：chrony有着比ntp服务器更好的优势来同步服务，在集群架构中，采用此种服务来同步时间也是最好的方式。 在集群环境中，一般都是一个服务器，然后上百个客户端来同步服务端的时间，接下来我们看看如何配置。 1、环境 时间服务器：172.16.0.51 允许本网段172.16.0.0/16同步时间 2、配
阅读全文
摘要：状态码为200表示成功。 PV、UV等介绍： 网站流量统计之UV(Unique Visitor)：独立访客，将每个独立上网电脑（以cookie为依据）视为一位访客，一天之内（00:00-24:00），访问您网站的访客数量。一天之内相同cookie的访问只被计算1次。 网站流量统计之PV（Page V
阅读全文
摘要：今天做地图定位展示，展示的是ApacheWeb服务器的访问日志文件中的来源IP。但是中间出现了报错环节，说是索引不能匹配到geo_point类型，实在是不懂这是在说什么，后来在网站找了方法就解决了。主要报错如下： 报错信息： 觉得很是奇怪，再来看看我的配置文件 看上去都是没有问题的，只要是按照这个格
阅读全文
摘要：1、php php的包名字叫做php-common，其配置文件使用的是ini风格的格式。 php的配置文件以分号作为注释，把分号去掉表示启动此片段功能。 在这里我们可以看到php在apache中的模块 记住php.ini的配置网站：核心配置文档：http://php.net/manual/zh/in
阅读全文
摘要：1、httpd的虚拟主机不能使用的问题 httpd中新建一个虚拟主机，并添加访问URI路径的时候，需要给此路径指定访问权限。今天遇到一个虚拟主机不能使用的问题，语法检测没有报错，并且还可以正常启动服务，但是就是不能访问虚拟主机的站点，报401错误。后来发现原来是自己的虚拟主机配置错了，端口的语法写错
阅读全文
摘要：Apache Httpd 2.2 实现https加密通讯 实际生产中CA证书一般是向一些专业认证的国际机构来进行申请的。我们会模拟使用OpenSSL生成的证书，来实现Apache的安全加密通讯，这与实际生产中是类似的。 实验环境准备 主机A：172.16.0.57 >httpd服务器 主机B：172
阅读全文
摘要：一、httpd持久化连接：使用httpd之telnet测试其keepalive连接状态 作用：连接建立后，每个资源获取结束不会断开连接，而继续等待其他资源请求并完成传输。 1、KeepAlive Off|On ：表示是否打开持久化连接功能 2、MaxKeepAliveRequests 100：表示连
阅读全文
摘要：1、Head插件介绍以及下载 Head插件是Elasticsearch的图形化界面工具，通过此插件可以很方便的对数据进行增删改查等数据交互操作。在Elasticsearch5.x版本以后，head插件已经是一个独立的Web App了，所以不需要和Elasticsearch进行集成。可以将Head插件
阅读全文
摘要：1、收集访问日志 1）、首先是要在nginx里面配置日志格式化输出 2）、接下来开始在logstash创建处理nginx的配置文件 此处的例子借鉴ELKstack权威指南里面的例子，不过书中的例子有错，我这里修改好了，可以参考书籍39页和66页 github:https://github.com/w
阅读全文
摘要：最近刚刚装好了一个系统，但是因为没有分好区，导致home分区过大，所以想把home分区的一大半移动到根分区里面。 1、先说一下我的环境。 安装的是centos6版本的系统，使用的默认文件系统是ext4格式的。 2、查看当前分区的大小 可以看出home分区的是相当大的。但是现在我不想使用这么大的hom
阅读全文
摘要：syslog日志收集器： syslog是早期的centos版本的日志收集器，应该是centos5之前的版本。 syslog的两个重要的守护进程： 1、syslogd：system。主要以收集系统服务为主 2、klogd：kernel。主要以收集内核信息为主 syslog的两个重要的工作机制： 1、支
阅读全文
摘要：之前学过一些常用的表达式，稍微熟练一点你就可以发现正则表达式的技巧在哪里，网上的一些案例也可以看懂。但是对于一些差异化的内容如何去使用正则表达式还是有难度的，也需要我们去探索。 首先是补充一下自己从来不知道的正则匹配规则： (pattern) :匹配pattern并获取这一匹配供以后使用，所获取的匹
阅读全文
摘要：nginx调优方向： 1、所用事件处理模型 2、进程数 3、每个进程的连接数 4、压缩 5、缓存 tomcat调优方向： 1、内存 2、总内存 3、初始申请内存 4、线程内存 5、GC方面 tomcat和nginx往往不会是瓶颈的所在，瓶颈一般跟后端数据处理及代码逻辑方面有关系，并且在项目中如何利用
阅读全文
