06 2018 档案
摘要:参考:http://www.cnblogs.com/Neeo/p/8711201.html 安装mysql5.6 安装python3 https://www.flyl3una.cc/2018/05/19/centos7%E5%AE%89%E8%A3%85python3%E7%8E%AF%E5%A2%
阅读全文
摘要:多线程是否成倍增加效率 如果是CPU密集型的,每个线程执行一下,相当于单线程再跑,io切换浪费时间如果是IO密集型的,比如发送一个请求,等待服务器返回的时候,再次发送下一条url请求,这样在时间上复用了,效率也就提高了如果想利用cpu好python的,可以采用多进程,concurrent.futur
阅读全文
摘要:源码分析 核心组件 Scrapy有以下几大组件: 除此之外,还有两大中间件组件: 执行流程: 入口 __main__.py——〉execute(项目、运行环境的设置,解析命令,初始化CrawlerProcess,执行run函数) http://kaito-kidd.com/2016/11/01/sc
阅读全文