摘要：
创建项目scrapy startproject tencent 编写items.py写class TencentItem 创建基础类的爬虫 scrapy genspider tencentPosition"tencent.com" tencentPosition.py 管道文件pipelines.p 阅读全文
摘要：
Queue（队列对象） Queue是python中的标准库，可以直接import Queue引用;队列是线程间最常用的交换数据的形式 python下多线程的思考 对于资源，加锁是个重要的环节。因为python原生的list,dict等，都是not thread safe的。而Queue，是线程安全的 阅读全文
摘要：
Python3 多线程，多线程类似于同时执行多个不同程序，多线程运行有如下优点： 使用线程可以把占据长时间的程序中的任务放到后台去处理。 用户界面可以更加吸引人，这样比如用户点击了一个按钮去触发某些事件的处理，可以弹出一个进度条来显示处理的进度 程序的运行速度可能加快 在一些等待的任务实现上如用户输 阅读全文
摘要：
Queue（队列对象） Queue是python中的标准库，可以直接import Queue引用;队列是线程间最常用的交换数据的形式 python下多线程的思考 对于资源，加锁是个重要的环节。因为python原生的list,dict等，都是not thread safe的。而Queue，是线程安全的 阅读全文
摘要：
获取验证码图片 识别缺口位置 生成滑块拖动路径 模拟实现滑块拼合 估计是高分屏的原因，截全图下来的时候我用画图软件看了图形验证码的像素位置，刚好是给的位置参数乘以2，所以保存下来的2张验证码的图还要压缩一下分辨率，加入下面语句就可以做对比匹配了。 修改参数 结果输出： 阅读全文
摘要：
获取页面信息，用XPath 做数据提取 获取每个blog里的用标题、正文、阅读次数信息 保存到 json 文件内 待完。。。 python3中： 阅读全文
摘要：
ORC库概述 在读取和处理图像、图像相关的机器学习以及创建图像等任务中，Python 一直都是非常出色的语言。虽然有很多库可以进行图像处理，在这里只重点介绍：Tesseract Tesseract Tesseract 是一个 OCR 库,目前由 Google 赞助(Google 也是一家以 OCR 阅读全文
摘要：
爬取糗事百科段子，页面的URL是 http://www.qiushibaike.com/8hr/page/ 使用requests获取页面信息，用XPath 做数据提取 获取每个帖子里的用户头像链接、用户姓名、段子内容、点赞次数和评论次数 保存到 json 文件内 在python3中爬取糗事百科段子： 阅读全文
摘要：
现在我们用XPath来做一个简单的爬虫，我们尝试爬取某个贴吧里的所有帖子，并且将该这个帖子里每个楼层发布的图片下载到本地。 在python3中使用XPath的爬虫,百度贴吧图片下载： 阅读全文
摘要：
为什么要学正则表达式 实际上爬虫一共就四个主要步骤： 明确目标 (要知道你准备在哪个范围或者网站去搜索) 爬 (将所有的网站的内容全部爬下来) 取 (去掉对我们没用处的数据) 处理数据（按照我们想要的方式存储和使用） 我们在昨天的案例里实际上省略了第3步，也就是"取"的步骤。因为我们down下了的数 阅读全文