摘要: 一、数据解析方式-bs4 1、 爬虫数据的解析常用方式有三种: 1、正则表达式 2、bs4 3、xpath解析 2、本次主要学习bs4,首先要先准备好环境,即要安装使用beautiful Soup,这里已经安装好了bs4模块,如下: pip install bs4 和 pip install lxm 阅读全文
posted @ 2024-01-05 23:12 zhang0513 阅读(30) 评论(1) 推荐(0) 编辑
摘要: 一、学习目标 1、抓取豆电影中的最新热门电影;其中按照不同类型进行抓取 2、这里是get请求的方式 3、json文件元素的值获取 4、文件写入保存 二、解决思路 1、准备好url地址【https://movie.douban.com/】,按F12进行网页分析,从网页中可以得到请求方式为get,并且针 阅读全文
posted @ 2024-01-05 22:13 zhang0513 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 一、学习目标 1、通过百度翻译,输入一个关键字能够得到其翻译的结果,例如 二、解决思路 1、导入模块 import requests import json 2、准备url 【https://fanyi.baidu.com】,在表单中输入dog后,可以F12,然后网络中选择XHR,观察数据请求的过程 阅读全文
posted @ 2024-01-05 20:47 zhang0513 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 一、用一个实例来了解一下 1、既然要用BeautifulSoup来解析,首先要把需要的模块导入; import os import requests from bs4 import BeautifulSoup 2、创建一个文件夹来存放要下载的数据:文件的名可以用户自定义 file_name = "i 阅读全文
posted @ 2024-01-05 19:54 zhang0513 阅读(28) 评论(0) 推荐(0) 编辑