一、学爬虫前应该先清楚的问题。
1、爬虫是做什么的?
爬虫是将网页数据下载到本地或者数据库。
2、数据又是怎么来的?
数据是通过接口传输到前端的页面进行显示的。
3、如何提取自己想要的数据?
分析数据显示在哪些标签内。
以上是爬虫最基本要清楚的问题。
二、爬虫的思路
1、既然数据是存放到网页上,那么就应该先发送请求,获取数据存放页面的源代码。
2、分析源代码里面哪些数据是自己必须要的,将其拿到(最花费时间的一步)
3、在将数据保存到自己电脑或者数据库。