摘要: 1.urllib模块 设置代理的demo代码如下: 在上面的代码中,先借助request的ProxyHandler方法设置代理,参数是字典类型,键的名称是协议类型,值是代理。需要注意的是代理值的前面要加上协议(http或者https)。当请求时http时,调用http代理,是HTTPS时调用http 阅读全文
posted @ 2019-01-20 19:40 炫风真是风 阅读(667) 评论(0) 推荐(0) 编辑
摘要: import requests,time from urllib.parse import urlencode import os from hashlib import md5 class ToutiaoSpider: def __init__(self): self.params = { 'offset': None, ... 阅读全文
posted @ 2019-01-20 15:51 炫风真是风 阅读(669) 评论(0) 推荐(0) 编辑