爬虫基本流程
1、准备工作
通过浏览器查看分析目标网页,学习编程基础规范
2、获取数据
通过HTTP库向目标站点发起请求,请求可以包含额外的header等信息,如果服务器能正常响应,会得到一个Response,便是所要获取的页面内容
3、解析内容
得到的内容可能是HTML、json等格式,可以用页面解析库、正则表达式等进行解析。
4、保存数据
保存形式多样,可以存为文本,也可以保存到数据库,或者保存特定格式的文件。
1、准备工作
通过浏览器查看分析目标网页,学习编程基础规范
2、获取数据
通过HTTP库向目标站点发起请求,请求可以包含额外的header等信息,如果服务器能正常响应,会得到一个Response,便是所要获取的页面内容
3、解析内容
得到的内容可能是HTML、json等格式,可以用页面解析库、正则表达式等进行解析。
4、保存数据
保存形式多样,可以存为文本,也可以保存到数据库,或者保存特定格式的文件。