简单学习python爬虫

学爬虫之前首先知道什么是爬虫:

   编写程序,根据URL获取网站信息
   历史背景:2015起,我国对数据爬取进行立法

ret.content 按照字节显示
ret.text 按照字符串显示

注:以上内容跟下面无关

1.新建一个python项目spyder(名字自起)

2.点击file中的settings

3.点击Project:spyder下的Project Interpreter

4.安装bs4和requests

5.在1.py中进行导包

6.在1.py中用requests伪造浏览器行为,注意ret是一个对象,

ret.encoding = ret.apparent_encoding是测数据类型(转换成中文)

7.添加html.parser内置解释器,目前市场上有两中内置解释器分别是html.parser和lxml,lxml需要我们单独安装。优点:速度更快.一般情况我建议优先使用html。parser

8,点击网站https://www.autohome.com.cn/news/打开F12,复制一下id

 

9.找到div

10.进行图片处理,同理也可以将li.find("img")改为li.find("a")等等,也可以进行修改div.find_all(name='li')为div.find_all(name='ul')等等靠自己发掘

注意:不到万不得已避免使用正则表达式。

使用bs4就能完成HTML解析,解析之后就变成一个对象

 

posted @ 2019-07-19 09:52  wangningning  阅读(167)  评论(0编辑  收藏  举报