爬虫的基本原理
一.爬虫是什么
模拟浏览器发送请求---->下载网页代码------>只有提取有用的数据------>存放于数据库或文件中
二.爬虫的基本流程
1.发送请求
使用http库向目标站点发起请求,即发送一个Request
Request包含:请求头,请求体
2.获取响应内容b
如果服务器能正常响应,则会得到一个Response
Response包含:html,json,图片,视频等
3.解析内容
解析html数据:正则表达式,第三方解析库和Beautifulsoup,pyquery等
解析json数据:json模块
解析二进制数据:以b的方式写入文件
4.保存数据
数据库
文件
六.总结
1.总结爬虫流程:
爬虫----->解析------->存储
2.爬虫所需工具
请求库:request,selenium
解析库:正则,beautifulsoup,pyquery
存储库:文件,MySQL,Mongodb,Redis
3.爬虫常用框架:
scrapy
万般皆下品,唯有读书高!