pengliangyuan

摘要： 在前面博客中写过python爬虫爬取各个城市历史天气及数据可视化，感觉还是有点粗糙，本文章是借这个例子抛砖引玉，写出个更NB的python全栈项目。 此项目预览页面全国各城市天气可视化系统 scrapy抓取全国各城市的历史天气 创建项目及准备工作 创建项目 创建爬虫脚本文件（考虑到tianqihou 阅读全文

摘要： 为什么要优化 cnblog用了一段时间，发现好多问题 编辑器功能不足，影响编辑效率 美化不足，影响视觉体验 功能优化 自动添加目录 根据h2,h3标签自动生成目录，点击目录的指定条目可以跳转的指定类容，每个内容小标题上都有回到顶部目录按钮。 我只做了两级目录，只有h2存在时才生成目录，且存在h3时， 阅读全文

摘要： 错误日志 错误日志会记录如下信息 mysql执行过程中的错误信息 mysql执行过程中的告警信息 event scheduler运行时所产生信息 mysq启动和停止过程中产生的信息 主从复制结构中，重从服务器IO复杂线程的启动信息 错误日志相关参数 log_error：错误日志的存放路径 log_w 阅读全文

摘要： 需求分析 从一个门户网站出发，试图爬取该门户网站所有链接，如此递归下去，发现新域名则保存起来，每个域名网站只爬取一次。有了这些数据在通过外部DNS获得IP，就可以自己搭建DNS服务器了 创建项目 创建一个项目，名叫crawl_all_domainname 创建爬虫脚本domain.py, 从han1 阅读全文

摘要： 创建型模式 工厂模式 定义了一个用于创建对象的接口，让子类决定实例化哪一个类，使一个类的实例化延迟到其子类。 抽象工厂模式 是一种为访问类提供一个创建一组相关或相互依赖对象的接口，且访问类无须指定所要产品的具体类就能得到同族的不同等级的产品的模式结构 单例模式 使用模块 模块在第一次导入时，会生成  阅读全文

摘要： 1. Redis环境 下载redis工具包和源代码 https://github.com/microsoftarchive/redis/releases redis-trib.rb在源码的src目录下，后面需要用到 2. Ruby环境 redis的集群创建工具redis-trib.rb需要ruby环 阅读全文

摘要： Redis协议 Redis 的通信协议是基于文本的，且以行为划分，每行以 \r\n 结束。每一行都有一个消息头，消息头共分为5种分别如下: +表示一个正确的状态信息，具体信息是当前行 + 后面的字符； - 表示一个错误信息，具体信息是当前行－后面的字符； * 表示消息体总共有多少行，不包括当前行,* 阅读全文

摘要： 查找算法 二分查找 排序算法 选择排序 原理：第一次从待排序的数据元素中选出最小（或最大）的一个元素，存放在序列的起始位置，然后再从剩余的未排序元素中寻找到最小（大）元素，然后放到已排序的序列的末尾。以此类推，直到全部待排序的数据元素的个数为零。 稳定性：不稳定 最差时间复杂度：O(n^2） 平均时 阅读全文

摘要： 前言： 爬取网站www.tianqihoubao.com上各城市的历史天气数据，并利用matplotlib将数据可视化。 代码实现： 效果展示： 总结： 代码还有很多可以有优化的地方，比如： 1. 数据存储数据库，以防爬取大量数据时程序意外崩溃导致数据丢失 2. 记录已爬url，好让程序重新开始后跳 阅读全文