摘要: reqeusts库,在使用ip代理时,单ip代理和多ip代理的写法不同 (目前测试通过,如有错误,请评论指正) 单ip代理模式 省去headers等 import requests proxy = { 'HTTPS': '162.105.30.101:8080' } url = '爬取链接地址' r 阅读全文
posted @ 2018-07-23 16:13 Operater 阅读(7707) 评论(1) 推荐(1) 编辑
摘要: 使用: from fake_useragent import UserAgent 最实用的 但我认为写爬虫最实用的是可以随意变换headers,一定要有随机性。在这里我写了三个随机生成user agent,三次打印都不一样,随机性很强,十分方便。 爬虫中具体使用方法 fake-useragent 将 阅读全文
posted @ 2018-07-23 11:55 Operater 阅读(3610) 评论(0) 推荐(0) 编辑