简单学习python爬虫
学爬虫之前首先知道什么是爬虫:
编写程序,根据URL获取网站信息
历史背景:2015起,我国对数据爬取进行立法
ret.content 按照字节显示
ret.text 按照字符串显示
注:以上内容跟下面无关
1.新建一个python项目spyder(名字自起)
2.点击file中的settings
3.点击Project:spyder下的Project Interpreter
4.安装bs4和requests
5.在1.py中进行导包
6.在1.py中用requests伪造浏览器行为,注意ret是一个对象,
ret.encoding = ret.apparent_encoding是测数据类型(转换成中文)
7.添加html.parser内置解释器,目前市场上有两中内置解释器分别是html.parser和lxml,lxml需要我们单独安装。优点:速度更快.一般情况我建议优先使用html。parser
8,点击网站https://www.autohome.com.cn/news/打开F12,复制一下id
9.找到div
10.进行图片处理,同理也可以将li.find("img")改为li.find("a")等等,也可以进行修改div.find_all(name='li')为div.find_all(name='ul')等等靠自己发掘
注意:不到万不得已避免使用正则表达式。
使用bs4就能完成HTML解析,解析之后就变成一个对象