爬虫的基本原理
爬虫就是获取网页并提取和保存信息的自动化程序
1.获取网页
爬虫首先要做的就是获取网页,这里就是获取网页的源代码。源代码里包含了网页的部分有用信息。只要把源代码获取到,就可以从提取信息了。
向网站服务器发送一个请求,返回的响应体就是网页的源码。
2.提取信息
获取网页源码后,提取信息就是分析网页源码,从中提取想要的数据。通用的方法是使用正则表达式。这个方法时万能的,但构造正则表达式比较复杂。
我们利用网页的结构化特点,可以使用一些根据网页节点属性、CSS选择器或XPath来获取网页信息的库,如:BeautifulSoup、pyquery、lxml。这些可以快速获取网页中的信息。如节点的属性,文本等。
3.保存数据
提取信息后,我们需要对数据进行持久化。如保存为t本地ext文件,json文件,或者保存到数据库中(Mysql,MongoDB等),也可以保存到远程的服务器(如:借助SFTP进行操作)。
4.自动化程序
当数据量特别大或者获取大量的数据时,需要借助程序。爬虫就是代替人来完成爬取信息的自动化程序。它可以在抓取信息过程中进行各种异常处理、错误重试等操作,确保爬取持续高效进行。