认识爬虫

一、学爬虫前应该先清楚的问题。

1、爬虫是做什么的?

爬虫是将网页数据下载到本地或者数据库。

2、数据又是怎么来的?

数据是通过接口传输到前端的页面进行显示的。

3、如何提取自己想要的数据?

分析数据显示在哪些标签内。

以上是爬虫最基本要清楚的问题。

二、爬虫的思路

1、既然数据是存放到网页上,那么就应该先发送请求,获取数据存放页面的源代码。

2、分析源代码里面哪些数据是自己必须要的,将其拿到(最花费时间的一步)

3、在将数据保存到自己电脑或者数据库。

 

posted @ 2020-06-06 13:08  Demo_one  阅读(150)  评论(0编辑  收藏  举报