11 2018 档案
摘要：摘要：前言:爬虫是偏IO型的任务,分布式爬虫的实现难度比分布式计算和分布式存储简单得多。 个人以为分布式爬虫需要考虑的点主要有以下几个:爬虫任务的统一调度爬虫任务的统一去重存储问题速度问题足够“健壮”的情况下实现起来越简单/方便越好最好支持“断点续爬”功能Python分布式爬虫比较常用的应该是scr
阅读全文
摘要：简介 备份mysql数据库一直是一个比较恶心的工作，主要就是备份的数据库比较大实在是慢。最近开始使用xtrabackup来备份数据库，速度上快了很多，尤其还原速度要快的多。下面我将从安装开始简要介绍一下如何使用xtrabackup来备份数据库。 定义：xtrabackup工具是percona公司用p
阅读全文
