上一页 1 2 3 4 5 6 7 ··· 11 下一页
2019年1月19日
python并发编程之进程池，线程池
摘要： 一、Python标准模块--concurrent.futures（并发未来） 二、线程池 1 # 1.同步执行 2 from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor 3 import os,time,rando 阅读全文
posted @ 2019-01-19 23:32 lujiacheng-python 阅读(219) 评论(0) 推荐(0) 编辑
tornado框架初探
摘要： 1、tornado概述 Tornado就是我们在 FriendFeed 的 Web 服务器及其常用工具的开源版本。Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快。得利于其 非阻塞的方式和对epoll的运用，Tor 阅读全文
posted @ 2019-01-19 23:03 lujiacheng-python 阅读(172) 评论(0) 推荐(0) 编辑
2019年1月11日
自定义异步IO爬虫
摘要： """ ##########浏览器的本质############# sk=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #连接 IO阻塞 sk.connect(('www.baidu.com',80)) print('连接成功') #连接成功后发送消息 GET请求 sk.send(b'GET / HTTP/1.0\r\nHost: www.... 阅读全文
posted @ 2019-01-11 16:59 lujiacheng-python 阅读(164) 评论(0) 推荐(0) 编辑
爬虫高并发之异步IO
摘要： 1.asyncio模块 @asyncio.coroutine def task(): print('start...') yield from asyncio.sleep(5) #不支持HTTP请求，支持TCP请求 #但HTTP请求就是基于TCP封装的，所以我们可以基于TCP协议发送 #HTTP请求 阅读全文
posted @ 2019-01-11 16:37 lujiacheng-python 阅读(849) 评论(0) 推荐(0) 编辑
2019年1月4日
python解析PDF文档
摘要： 1.安装 2. python读取PDF文档代码分析 PDF格式不是规范格式. 尽管它被叫做"PDF文档", 但并不像word或者html文档。PDF的表现更像一张图片。PDF更像是在一张纸的各个准确的位置上把内容都摆放出来。大部分情况下，没有逻辑结构，比如句子或段落，并且不能自适应页面大小的调整。P 阅读全文
posted @ 2019-01-04 19:49 lujiacheng-python 阅读(1885) 评论(0) 推荐(0) 编辑
scrapy之源码解析
摘要： 由于本人知识有限，只看懂到这里，后续再更新。。。。。 阅读全文
posted @ 2019-01-04 19:22 lujiacheng-python 阅读(504) 评论(0) 推荐(0) 编辑
scrapy之settings参数
摘要： #==>第一部分：基本配置第二部分：并发与延迟第三部分：智能限速/自动节流：AutoThrottle extension第四部分：爬取深度与爬取方式第五部分：中间件、Pipelines、扩展第六部分：缓存第七部分：线程池第八部分：其他默认配置参考<=== D:\python3.6\Lib\site-packages\scrapy\settings\default_settings.py 阅读全文
posted @ 2019-01-04 19:18 lujiacheng-python 阅读(661) 评论(0) 推荐(0) 编辑
Scrapy之pipeline&扩展
摘要： 1.自定义pipeline 实例 2. 自定义扩展 阅读全文
posted @ 2019-01-04 19:09 lujiacheng-python 阅读(225) 评论(0) 推荐(0) 编辑
2018年12月22日
scrapy之中间件
摘要： 1 Dowloader Middeware class DownMiddleware1(object): def process_request(self, request, spider): """ 请求需要被下载时，经过所有下载器中间件的process_request调用 :param requ 阅读全文
posted @ 2018-12-22 21:59 lujiacheng-python 阅读(186) 评论(0) 推荐(0) 编辑
scrapy解析库之Xpath( Selectors)
摘要： https://docs.scrapy.org/en/latest/topics/selectors.html 阅读全文
posted @ 2018-12-22 21:51 lujiacheng-python 阅读(1341) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 11 下一页