上一页 1 2 3 4 5 6 7 ··· 11 下一页
摘要: 一、Python标准模块--concurrent.futures(并发未来) 二、线程池 1 # 1.同步执行 2 from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor 3 import os,time,rando 阅读全文
posted @ 2019-01-19 23:32 lujiacheng-python 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 1、tornado概述 Tornado就是我们在 FriendFeed 的 Web 服务器及其常用工具的开源版本。Tornado 和现在的主流 Web 服务器框架(包括大多数 Python 的框架)有着明显的区别:它是非阻塞式服务器,而且速度相当快。得利于其 非阻塞的方式和对epoll的运用,Tor 阅读全文
posted @ 2019-01-19 23:03 lujiacheng-python 阅读(172) 评论(0) 推荐(0) 编辑
摘要: """ ##########浏览器的本质############# sk=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #连接 IO阻塞 sk.connect(('www.baidu.com',80)) print('连接成功') #连接成功后发送消息 GET请求 sk.send(b'GET / HTTP/1.0\r\nHost: www.... 阅读全文
posted @ 2019-01-11 16:59 lujiacheng-python 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 1.asyncio模块 @asyncio.coroutine def task(): print('start...') yield from asyncio.sleep(5) #不支持HTTP请求,支持TCP请求 #但HTTP请求就是基于TCP封装的,所以我们可以基于TCP协议发送 #HTTP请求 阅读全文
posted @ 2019-01-11 16:37 lujiacheng-python 阅读(849) 评论(0) 推荐(0) 编辑
摘要: 1.安装 2. python读取PDF文档代码分析 PDF格式不是规范格式. 尽管它被叫做"PDF文档", 但并不像word或者html文档。PDF的表现更像一张图片。PDF更像是在一张纸的各个准确的位置上把内容都摆放出来。大部分情况下,没有逻辑结构,比如句子或段落,并且不能自适应页面大小的调整。P 阅读全文
posted @ 2019-01-04 19:49 lujiacheng-python 阅读(1885) 评论(0) 推荐(0) 编辑
摘要: 由于本人知识有限,只看懂到这里,后续再更新。。。。。 阅读全文
posted @ 2019-01-04 19:22 lujiacheng-python 阅读(504) 评论(0) 推荐(0) 编辑
摘要: #==>第一部分:基本配置第二部分:并发与延迟第三部分:智能限速/自动节流:AutoThrottle extension第四部分:爬取深度与爬取方式第五部分:中间件、Pipelines、扩展第六部分:缓存第七部分:线程池第八部分:其他默认配置参考<=== D:\python3.6\Lib\site-packages\scrapy\settings\default_settings.py 阅读全文
posted @ 2019-01-04 19:18 lujiacheng-python 阅读(661) 评论(0) 推荐(0) 编辑
摘要: 1.自定义pipeline 实例 2. 自定义扩展 阅读全文
posted @ 2019-01-04 19:09 lujiacheng-python 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 1 Dowloader Middeware class DownMiddleware1(object): def process_request(self, request, spider): """ 请求需要被下载时,经过所有下载器中间件的process_request调用 :param requ 阅读全文
posted @ 2018-12-22 21:59 lujiacheng-python 阅读(186) 评论(0) 推荐(0) 编辑
摘要: https://docs.scrapy.org/en/latest/topics/selectors.html 阅读全文
posted @ 2018-12-22 21:51 lujiacheng-python 阅读(1341) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 11 下一页