12 2018 档案
摘要：因为percona打算放弃使用innobackupex备份工具，因此我们这里也说明一下innobackupex的兄弟工具xtraceback工具的使用 这个工具的安装可以参考上面的一些博文，上面详细说明了innobackupex的备份与使用：https://www.cnblogs.com/wxzhe
阅读全文
摘要：上一片博文中，我们说明了mysqldump的备份与恢复。因为mysqldump是单线程导出，单线程恢复的，因此备份与恢复的时间比较长！ 首先来安装mydumper： 下载源码：https://github.com/maxbube/mydumper 安装： 博文参考地址： http://www.ywn
阅读全文
摘要：再说复制Kafka 的复制机制和分区的多副本架构是Kafka 可靠性保证的核心。把消息写入多个副本可以使Kafka 在发生崩愤时仍能保证消息的持久性。Kafka 的主题被分为多个分区，分区是基本的数据块。分区存储在单个磁盘上，Kafka 可以保证分区里的事件是有序的，分区可以在线（可用），也可以离线
阅读全文
摘要：摘自： 《kafka权威指南》 集群间成员关系 Kafka 使用Zoo keeper 来维护集群成员的信息。每个broker 都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在broker 启动的时候，它通过创建临时节点把自己的ID 注册到Zookeeper 。Kafka 组件订
阅读全文
摘要：在上一篇文章中说明了kafka-python的API使用的理论概念，这篇文章来说明API的实际使用。 在官方文档详细列出了kafka-python的API接口https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html
阅读全文
摘要：kafka系列文章之python-api的使用。 在使用kafka-python时候需要注意，一定要版本兼容，否则在使用生产者会报 无法更新元数据的错误。 在本片测试中java版本为如下，kafka版本为0.10.0，kafka-python版本为1.3.1，目前最新的版本为1.4.4 从官网下载k
阅读全文
摘要：在使用kafka时，有时候为验证应用程序，需要手动读取消息或者手动生成消息。这个时候可以借助kafka-console-consumer.sh和kafka-console-producer.sh 这两个工具，它们包装了java客户端，让用户不需要编写整个应用程序就可以与kafka主题发生交互。 生产
阅读全文
摘要：盗链是一种损害原有网站合法权益，给原网站所在服务器造成额外负担的非法行为。 盗链的实现原理： 客户端向服务器请求资源时，为了减少网络带宽，提高响应时间，服务器一般不会一次将所有资源完整地传回给客户端。比如在请求一个网页时，首先会传回该网页的文本内容。当客户端浏览器在解析文本的过程中发现有图片存在时，
阅读全文
摘要：首先这片博客没有任何理论性的东西，只是详细说明kafka与zookeeper集群的搭建过程，需要三台linux服务器。 java环境变量设置 zookeeper集群搭建 kafka集群搭建 java环境变量设置 在每台服务器上都有设置java环境变量 这里使用java源码安装的方式： 下载源码包解压
阅读全文
摘要：虚拟机上一台主机，之前一直在用，可以通过xshell连接，但是忽然发现ping百度失败了！ 检查这个失败感觉很麻烦，检查了配置文件，修改了ip结果都不可以！但是发现ping ip地址是可以的！ 感觉应该是域名解析的问题，检查了/etc/resolv.conf配置文件，发现文件是空的（不晓得为啥？）在
阅读全文
摘要：nginx编译的时候默认是把rewrite功能编辑进去的，但是因为rewrite需要使用正则表达式，因此需要安装pcre依赖包。 rewrite是nginx服务器提供的一个重要基本功能，其再web服务器产品中几乎是必备的，用于实现URL的重写。URL重写是非常有用的功能，比如它可以让我们在改变网站结
阅读全文
摘要：在访问百度时，在浏览器输入www.baidu.com会自动跳转到https://www.baidu.com不用人工干预，nginx也可以做这样的自动跳转！ 首先让nginx服务器监听两个端口，分别是80端口和443端口，注意监听443端口的时候需要配置证书的认证以及创建自签名证书！ 关于证书的认证的
阅读全文
摘要：nginx服务器的反向代理时其最常用的重要功能之一，在实际工作中应用广泛，涉及的配置指令也比较多。下面会尽量详细地介绍对应的指令，及其使用状态。 反向代理一般是互联网需要向内网拉取资源，比如访问一个web网站时，互联网应用通过一个代理服务器到后面真实的web服务器拉取应用所需的数据。 nginx服务
阅读全文
摘要：现有如下的web架构（简化之后的），需要把原来的http访问修改到https访问！ haproxy的认证有两种方式： 第一种：haproxy提供ssl证书，后面的nginx访问使用正常的http。 第二种：haproxy做正常的代理，后面的nginx提供ssl证书！ 总共下面三种的组合方式： 第一种
阅读全文
摘要：1）HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。2）HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。3）HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运
阅读全文
摘要：负载均衡用的很多，这里对负载均衡做一个总结吧，总共包含下面几片博文。 LVS负载均衡 keepalived负载均衡+高可用 haproxy负载均衡 nginx负载均衡 LVS负载均衡 LVS是章文嵩博士开发的一个基于linux内核的项目，国内有着比较清晰中文描述http://www.linuxvir
阅读全文
摘要：在之前的博客中，记录了使用MHA自动failover的过程，这片记录下手动切换failover! 手动failover，这种场景意味着在业务上没有启用MHA自动切换功能，当主服务器故障时，人工手动调用MHA来进行故障切换操作。 现在的架构是一主两从，204作为master，179为备主，221为从服
阅读全文
摘要：在上一片博客中，讲述了怎么去配置MHA架构！这片博客不再细说，只说明其中MySQL主从搭建，这里使用的是gtid加上半同步复制！ 步骤与上一片博客一样，不同之处在于MySQL主从的搭建！详细的gtid搭建过程https://www.cnblogs.com/wxzhe/p/10055154.html
阅读全文
摘要：MHA的理论知识网上有很多教程，这里不会说明；仅推荐博客链接！ MHA的理论说明：http://www.ywnds.com/?p=8094 MHA的安装包需要在google上面下载，或者就是csdn上面花钱下载！ 详细说明怎么搭建MHA 第一步：搭建好主从架构，也就是一主两从的架构。【MHA的官方不
阅读全文
摘要：在做报表的时候，通常需要把额外几张服务器中的表导入到一个数据库中，这时候就需要表迁移！ 利用mysqldump方式导入表 使用INNODB表空间的方式迁移表 使用select ...into file的方式迁移表 mysqldump方式导入表 这种方式适合用于表数据不是太大时候，这是一种逻辑导入与导
阅读全文
摘要：MySQL的复制： https://www.cnblogs.com/wxzhe/p/10051114.html 级联复制的结构如图 我们来设置基于filename和pos的级联复制，并且接受mysql-utilities工具中mysqlreplicate的用法！ 首先在MySQL官网下载mysql-
阅读全文
摘要：从mysql5.6开始引入全局事务标识符（GTID），即每个事务都有一个唯一的标识符。服务器上的每个事务都被分配一个唯一的事务标识符，这是一个64位非零的数值，根据事务提交的顺序分配。GTID的构成是由服务器的Uuid和事务的提交顺序两部分组成的。 复制事务的时候如果启用了全局事务标识符，不管事务被
阅读全文
摘要：这片博文会详细说明MySQL复制的过程以及复制的原理！ 会详细说明以下几种复制模式：传统的MySQL复制，MySQL5.6的半同步辅助以及MySQL5.7的无损复制。 传统的MySQL异步复制 复制解决的基本问题是让一台服务器的数据与其他服务器的数据保持同步。一台主库的数据可以同步到多台备库上，备库
阅读全文
