摘要:
https://www.cnblogs.com/-900401/p/4015048.html 很受益的一篇文章,特别是后面对四种模型的解析。 理解阻塞和非阻塞,同步异步,有一个核心点要搞清楚就是用户发起内核调用的时候,内核处理分两个阶段:一是准备数据,二是把数据拷贝到用户态内存。 可以近似把内核处理 阅读全文
摘要:
原文地址:http://www.sohu.com/a/281228178_120047080 网络请求中的cookie与set-Cookie的交互模式和作用:https://my.oschina.net/ososchina/blog/339918 阅读全文
摘要:
原文:https://blog.csdn.net/yx0628/article/details/82722166 阅读全文
摘要:
转自知乎,前几篇回答可以参考一下,比较形象:https://www.zhihu.com/question/19732473 阅读全文
摘要:
原文地址:https://blog.csdn.net/mouday/article/details/80182397 user_agent = [ "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 阅读全文
摘要:
1.因为使用的yield,而不是return。parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果,并判断该结果是一个什么样的类型; 2.如果是request则加入爬取队列,如果是item类型则使用pipeline处理,其他类型则返回错误信息。 3.scrapy取 阅读全文
摘要:
记录一下两个讲解scrapy源码的博客: 1、http://kaito-kidd.com/2016/11/21/scrapy-code-analyze-component-initialization/ 2、https://braincy.top/2018/02/24/scrapy-analyse/ 阅读全文
摘要:
转载地址:http://blog.jobbole.com/21351/ Stack Overflow上的好文:https://stackoverflow.com/questions/100003/what-are-metaclasses-in-python 另外有几点理解记录下: 创建一个实例时,有 阅读全文