摘要：
Xtrabackup简介 Percona XtraBackup是一个开源、免费的MySQL热备份软件,能够为InnoDB和XtraDB数据库执行非阻塞备份，特点如下： 1、快速、可靠的完成备份 2、备份期间不间断事务处理 3、节省磁盘空间和网络带宽 4、自动对备份文件进行验证 5、恢复快，保障在线运 阅读全文
摘要：
本文是对《大型网站架构设计》(李智慧 著)一书的梳理， 文末附有相关技术图谱。 大型网站演化进程 初始阶段的网站架构 ：一台服务器，上面同时拥有应用程序，数据库，文件，等所有资源。例如 LAMP 架构 应用和数据服务分离 ：三台服务器（硬件资源各不相同），分别是应用服务器，文件服务器和数据库服务器 阅读全文
摘要：
最近整理了下MySQL备份与恢复的知识点，部分知识点还附有链接。 内容持续更新中，访问地址： https://www.processon.com/view/link/58805970e4b098bf4cddc5cd 阅读全文
摘要：
前言 在发生故障切换后，经常遇到的问题就是同步报错，下面是最近收集的报错信息。 记录删除失败 在master上删除一条记录，而slave上找不到 解决方法：master要删除一条记录，而slave上找不到报错，这种情况主都已经删除了，那么从机可以直接跳过。 如果这种情况很多，需要针对这种错误专门写相 阅读全文
摘要：
本节以 zabbix 为例，介绍如何使用监控系统完成 Elasticsearch 的监控报警。 github 上有好几个版本的 ESZabbix 仓库，都源自 Elastic 公司员工 untergeek 最早的贡献。但是当时 Elasticsearch 还没有官方 python 客户端，所以监控程 阅读全文
摘要：
步骤相关 1、停掉MySQL服务 service mysql stop 2、把旧的数据目录/var/lib/mysql备份到新的数据目录/data/mysql cp /var/lib/mysql /data R 3、给mysql组的mysql用户赋予新的数据目录的权限 chown R mysql:m 阅读全文
摘要：
最近爬取了百万数据，以下是学习爬虫时汇总的相关知识点 什么是爬虫和反爬虫 爬虫 —— 使用任何技术手段批量获取网站信息的一种方式，关键在批量。 反爬虫 —— 使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。关键也在于批量。 误伤 —— 在反爬虫的过程中，错误的将普通用户识别为爬虫。误伤率高 阅读全文
摘要：
最近弄爬虫，遇到的一个问题就是如何使用post方法模拟登陆爬取网页。下面是极简版的代码： 原文地址： http://wangxin123.com/2016/12/19/%E4%BD%BF%E7%94%A8Post%E6%96%B9%E6%B3%95%E6%A8%A1%E6%8B%9F%E7%99%B 阅读全文
摘要：
最近进行了微信公众号的预研，目前支持的功能如下 支持关键字回复，目前能回复图文信息。 支持自定义菜单创建及菜单事件响应。 支持各消息类型的识别。目前可以识别用户发送的文本、图片、声音、地址和链接信息等。 支持拍照答题。微信公众号内带拍照功能，用户发送图片后，后端可调用接口进行图片识别，并回复图文信息 阅读全文
摘要：
分布式算法 在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括： 轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为常用的算法. 典型的应用 阅读全文
摘要：
分布式一致性问题 在分布式系统中，为了保证数据的高可用，通常，我们会将数据保留多个副本(replica)，这些副本会放置在不同的物理的机器上。为了对用户提供正确的增、删、改、查等语义，我们需要保证这些放置在不同物理机器上的副本是一致的。 为了解决这种分布式一致性问题，在性能和数据一致性的反反复复权衡 阅读全文
摘要：
持续更新中 ~~ 地址：https://github.com/Wasim37/deployment scripts/ 阅读全文
摘要：
问题 由于某些原因，现在需要这样的一个文件上传接口，这个接口type(String)是必传参数，photoFile(MultipartFile)是非必传参数，即一般情况下需要接受两个参数，分别为photoFile和type，但是偶尔只接受type参数，不需要起到上传作用。 按常规写法，photoFi 阅读全文
摘要：
示警媒介 一般情况下，zabbix监控主机都配置了触发器，触发器被触发发送消息给运维，需要中间介质来接收并传递消息。 zabbix默认的【示警媒介类型】有三种，Email、Jabber、SMS。 （1）Email：使用sendmail发送邮件，从这边出去的邮件基本是垃圾邮件。 （2）SMS：需要短信 阅读全文
摘要：
Paxos算法是莱斯利·兰伯特（英语：Leslie Lamport，LaTeX中的“La”）于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。 问题和假设 分布式系统中的节点通信存在两种模型：共享内存（Shared memory）和消息传递（Messages passing） 。基于 阅读全文
摘要：
TCP简介 首先来看看OSI的七层模型： 我们需要知道TCP工作在网络OSI的七层模型中的第四层——Transport层，IP在第三层——Network层，ARP在第二层——Data Link层；在第二层上的数据，我们把它叫Frame，在第三层上的数据叫Packet，第四层的数据叫Segment。 阅读全文
摘要：
ELK介绍 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，还使用依次登录 阅读全文
摘要：
前几天，公司两台linux服务器，一台访问速度很慢，cpu跑满，一台免密码登录失效，公钥文件被改写成redis的key。用htop命令查询发现了minerd木马进程，初步猜测是redis没有配访问权限造成的。网上查询minerd木马，发现这是一个很常见的挖矿程序，相关猜测也得到了验证。 下文是网上搜 阅读全文
摘要：
CAP原理 在理论计算机科学中，CAP定理（CAP theorem），又被称作布鲁尔定理（Brewer's theorem），它指出对于一个分布式计算系统来说，不可能同时满足以下三点： 一致性（Consistence） 分布式系统中的所有数据备份，在同一时刻是否同样的值。（等同于所有节点访问同一份最 阅读全文
摘要：
配置相关 jdbc 配置 单数据源时的Spring配置文件 多数据源时Spring配置文件 MultipleDataSource实现 手动数据源切换调用 MyBatis接口Mapper定义，直接使用注解方式实现 使用SpringAOP方式实现自动切换 配置详解 这里就上面的实现做个简单解释，在我们配 阅读全文