会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
sinlearn
博客园
首页
新随笔
联系
订阅
管理
python网络爬虫--爬虫概述
什么是爬虫?
就是通过编写程序,让其模拟浏览器上网,然后在互联网中抓取数据的过程
关键字:
模拟:
浏览器本身就是一个纯天然的原始爬虫工具
抓取:
抓取一整张的页面源码数据
抓取一整张页面中的局部数据
爬虫的分类:
通用爬虫:
要求我们爬取一整张页面的源码数据
聚焦爬虫:
要求我们抓取一整张页面中的局部数据,建立在通用爬虫基础上
增量式爬虫:
用来监测网站数据更新的情况,以便爬取到网站最新更新出来的数据(爬没爬过的数据)
分布式爬虫:
提高爬取效率的终极武器。
反爬机制
是作用在门户网站中。如果网站不想让爬虫轻易爬取数据,它可以制定相关的机制或者措施阻止爬虫程序爬取其数据
反反爬策略
是作用在爬虫程序中。我们爬虫可以制定相关的策略破击反爬机制从而爬取相关的数据。
posted @
2020-05-25 20:14
sinlearn
阅读(
175
) 评论(
0
)
编辑
收藏
举报
会员力量,点亮园子希望
刷新页面
返回顶部
公告