会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
万隆
请立刻原地写代码
博客园
首页
新随笔
联系
订阅
管理
2018年9月1日
Python 2.7 爬取51job 全国java岗位
摘要: 一页有50条数据一共2000页 分页是get分页 日志文件 爬去的数据 但是爬去的速度有点慢, 于是乎采用了多线程爬去, 但是51job 立刻就把IP段给封掉了, 于是用户4台服务器,每台爬取500条数据,最后再结合一起加到数据库中 人生苦短,我用Python!!!
阅读全文
posted @ 2018-09-01 17:57 万隆
阅读(262)
评论(0)
推荐(0)
编辑
公告