2017年8月28日
Python爬虫之利用BeautifulSoup爬取豆瓣小说（一）——设置代理IP
摘要： 自己写了一个爬虫爬取豆瓣小说，后来为了应对请求不到数据，增加了请求的头部信息headers，为了应对豆瓣服务器的反爬虫机制：防止请求频率过快而造成“403 forbidden”，乃至封禁本机ip的情况，而设置了代理ip，详细请见代码和注释。 爬取豆瓣小说的链接：https://www.douban. 阅读全文
posted @ 2017-08-28 22:59 cnhkzyy 阅读(2085) 评论(0) 推荐(0) 编辑