摘要：
Item是保存结构数据的地方，Scrapy可以将解析结果以字典形式返回，但是Python中字典缺少结构，在大型爬虫系统中很不方便。 Item提供了类字典的API，并且可以很方便的声明字段，很多Scrapy组件可以利用Item的其他信息。 定义Item 定义Item非常简单，只需要继承scrapy.I 阅读全文
摘要：
#!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = "Daniel Altiparmak (sixfinger78@gmail.com)" __copyright__ = "Copyright (C) 2015 Daniel Altiparmak" __license__ = "GPL 3.0" import asyncio... 阅读全文
摘要：
https://hubertroy.gitbooks.io/aiohttp-chinese-documentation/content/aiohttp%E6%96%87%E6%A1%A3/ClientUsage.html#%E4%BD%BF%E7%94%A8WebSockets 阅读全文
该文被密码保护。 阅读全文
摘要：
#其中authenticity_token的值，位于一个隐藏的input标签中，另外headers需要传入的信息不止要有ua，还有 阅读全文
摘要：
作者：申玉宝链接：https://www.zhihu.com/question/28168585/answer/74840535来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spi 阅读全文
摘要：
#!/usr/bin/env python # encoding: utf-8 from urllib.parse import * #urlparse:解析url分段 #urlsplit:类似urlparse，不再单独解析params部分 #urlunsplit:后面必须1个列表，里面5个参数 #urljoin:字符串的拼接 #parse_qs:字符串参数转字典参数 #parse_qs... 阅读全文
摘要：
上面只是为了做一个 列表 元组转字典的练习，下面才是开始 阅读全文