会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
JerryZao
为什么坚持,想一想当初,每天进步一点点!
管理
2018年12月8日
概述和HTTP请求与响应处理
摘要: 1、概述 爬虫,应该称为网络爬虫,也叫网页蜘蛛人,网络蚂蚁等 搜索引擎,就是网络爬虫的应用者 2、爬虫分类 通用爬虫: 常见就是搜索引擎,无差别的收集数据,存储,提交关键字,构建索引库,给用户提供搜索接口 爬取一般流程: 1、初始一批URL,将这些URL放到待爬的队列 2、从队列取出这些URL,通过
阅读全文
posted @ 2018-12-08 19:38 JerryZao
阅读(1557)
评论(0)
推荐(0)
编辑
公告