会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
亚洲小番茄
博客园
首页
新随笔
联系
订阅
管理
2020年8月21日
程序员带你构建ip池,爬取大数据
摘要: 使用爬虫不可避免的就会遇到网站的各种封ip操作,因此就需要我们找寻代理,通过代理ip进行操作,屏蔽自己真实ip。 import requests import pymongo from lxml.html import etree class SelfIpProxy(): def __init__(
阅读全文
posted @ 2020-08-21 17:40 亚洲小番茄
阅读(534)
评论(0)
推荐(0)
编辑
公告