06 2018 档案

摘要:参考:http://www.cnblogs.com/Neeo/p/8711201.html 安装mysql5.6 安装python3 https://www.flyl3una.cc/2018/05/19/centos7%E5%AE%89%E8%A3%85python3%E7%8E%AF%E5%A2% 阅读全文
posted @ 2018-06-30 16:13 AndRew-A 阅读(209) 评论(0) 推荐(0) 编辑
摘要:测试结果 阅读全文
posted @ 2018-06-17 18:15 AndRew-A 阅读(245) 评论(0) 推荐(0) 编辑
摘要:多线程是否成倍增加效率 如果是CPU密集型的,每个线程执行一下,相当于单线程再跑,io切换浪费时间如果是IO密集型的,比如发送一个请求,等待服务器返回的时候,再次发送下一条url请求,这样在时间上复用了,效率也就提高了如果想利用cpu好python的,可以采用多进程,concurrent.futur 阅读全文
posted @ 2018-06-09 22:47 AndRew-A 阅读(160) 评论(0) 推荐(0) 编辑
摘要:源码分析 核心组件 Scrapy有以下几大组件: 除此之外,还有两大中间件组件: 执行流程: 入口 __main__.py——〉execute(项目、运行环境的设置,解析命令,初始化CrawlerProcess,执行run函数) http://kaito-kidd.com/2016/11/01/sc 阅读全文
posted @ 2018-06-06 17:21 AndRew-A 阅读(464) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示