爬虫学习笔记

1.爬虫核心：

爬去网页
解析数据

难点：爬虫与反爬虫的博弈

2.爬虫分类：

通用爬虫：
　　  实例：谷歌，百度，搜狗
　　功能：访问网页-抓取数据-数据存储-数据处理-提供检索服务
　　抓取过程：
　　　　给定一些起始URL，放入待爬取队列
　　　　从队列中获取url对象，开始爬取数据
　　　　分析网页，获取网页内所有的URL，入队，继续重复第二步
　　搜索引擎如何获取新网站链接：
　　　　主动给搜索引擎提交URL
　　　　在其他站点设置友情链接
　　　　百度和DNS服务商合作，只要有域名，就会收录新网站
　　robots协议：
　　　　约定的协议，添加robots.txt 说明哪些不被爬取
　　　　自己写的爬虫无需遵守
　　网站排名：
　　　　根据pagerank值进行排名（参考网站流量，点击率等指标）
　　　　百度竞价排名
　　缺点：
　　　　爬取太多无用数据
　　　　不能根据用户需求来精准获取数据

聚焦爬虫：
　　 功能：根据需求，实现爬虫程序抓取需要的数据
　   原理：
　　　　网页都有唯一的URL
　　　　网页都是HTML组成
　　　　传输协议都是HTTP／HTTPS
　  设计思路：
　　　　获取URL——确定要爬取的URL
　　　　如何访问——模拟浏览器通过HTTP协议访问URL，获取服务器返回的Ｈｔｍｌ代码
　　　　如何解析——解析HTML字符串（根据一定规则提取需要的数据）

3.整体内容

　　python　语法

　   使用python库
　　　　urllib.request
　　　　urllib.parse
　　　　requests
　　　　scrapy
　  解析内容：
　　　　正则表达式
　　　　xpath
　　　　bs4
　　　　jsonpath
　 采集动态html
　 scrapy：高性能异步爬虫框架
　 分布式爬虫：scrapy——redis组件

　 反爬虫的一般手段：
　　　　User—Agent
　　　　代理ip
　　　　验证码访问
　　　　动态加载网页
　　　　数据加密
　爬虫-反爬虫-反反爬虫

 

看视频整理老师所讲！