摘要：
似乎很快可以总结2017年了。。。。。 从去年开始一直在技术的道路上坚持着，真的挺累的，技术的道路并不好走，前期的自学过程真的很痛苦，各种问题出来了，有时都想放弃了，但是最后还是各种找资料找谷歌来学，克服很多了困难，我庆幸自己能够迈出这一步。。。自学的路并不那么好走，但是我终于走明白了，真的很幸运 阅读全文
摘要：
下面就是是源代码，我是直接把数据保存在字典并且打印到控制台的 阅读全文
摘要：
目前在中文网上能搜索到的绝大部分关于装饰器的教程，都在讲如何装饰一个普通的函数。本文介绍如何使用Python的装饰器装饰一个类的方法，同时在装饰器函数中调用类里面的其他方法。本文以捕获一个方法的异常为例来进行说明。 有一个类Test, 它的结构如下： 在类中有一个方法read_value()，这个方 阅读全文
摘要：
利用python的线程实现简单生产者和消费者模式，这种模式在多线程编程时还是用的比较多吧，下面是源代码： 阅读全文
摘要：
(error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. 今天运行Redis时发生错误，错误信息如下： (error) MISCONF Redis 阅读全文
摘要：
以前爬的数据量都有点少了，所以现在写个爬房天下全站数据爬虫来，用redis进行URL的去重处理，采用mysql储存清洗过后房产数据，采用线程池来进行调度，进行多线程爬取 后面会用scrapy框架做分布式集群来爬取数据，做完分布式爬虫就差不多了，后面就是scrapy深入研究和数据系统开发的学习 下面是 阅读全文
摘要：
因为这两个是开发中经常会用到的功能，所以今天就做了简单的封装，下面是封装的代码。。。 阅读全文
摘要：
（三）代理IP的使用 运行上面的代码会得到一个随机的proxies，把它直接传入requests的get方法中即可。 阅读全文
摘要：
配置scrapy环境 分别pip install Zope.Interface、Twisted、w3lib、lxml、pyOpenSSL、Scrapy 新建爬虫项目，pycharm运行 我的项目名称为RadioCrawl文件夹为 Paste_Image.png 新建main.pyfrom scrap 阅读全文
摘要：
一、首先需要安装Pyinstaller-- 使用pip来安装模块 (我电脑上装的是python的一个编译环境Anaconda，如果电脑上装的是python自带的IDE的话，就直接进入python的安装路径，比如是：“D:\python27\Scripts\pip.exe”) 我的Anaconda2安 阅读全文