Python学习笔记之爬取网页保存到本地文件
爬虫的操作步骤:
爬虫三步走
- 爬虫第一步:使用requests获得数据: (request库需要提前安装,通过pip方式,参考之前的博文)
1.导入requests
2.使用requests.get获取网页源码 -
import requests r = requests.get('https://book.douban.com/subject/1084336/comments/').text
- 爬虫第二步:使用BeautifulSoup4解析数据: (BeautifulSoup4库需要提前安装,通过pip方式,参考之前的博文)
1.导入bs4
2.解析网页数据
3.寻找数据
4.for循环打印
from bs4 import BeautifulSoup soup = BeautifulSoup(r,'lxml') pattern = soup.find_all('p','comment-content') for item in pattern: print(item.string)
- 爬虫第三步:使用pandas保存数据: (pandas库需要提前安装,通过pip方式,参考之前的博文)
1.导入pandas
2.新建list对象
3.使用to_csv写入
import pandas comments = [] for item in pattern: comments.append(item.string) df = pandas.DataFrame(comments) df.to_csv('comments.csv')
完整的爬虫(值得注意的是关于BeautifulSoup和pandas两个包,都需要事先在电脑上安装,可以使用pip命令方式安装,具体方法可查看之前的博文命令 pip install beautifulsoup & pip install pandas)
import requests r = requests.get('https://book.douban.com/subject/1084336/comments/').text from bs4 import BeautifulSoup soup = BeautifulSoup(r,'lxml') pattern = soup.find_all('p','comment-content') for item in pattern: print(item.string) import pandas comments = [] for item in pattern: comments.append(item.string) df = pandas.DataFrame(comments) df.to_csv('comments.csv')#当然这里可以指定文件路径,如 D:/PythonWorkSpace/TestData/comments.csv
代码运行结果:(注意的是,运行结果为csv,可能你用Excel打开之后会出现乱码,那是因为csv格式不对,怎么解决呢?
你可以将csv文件用Notepad++打开,编码Encoding选择 Encode in UTF-8-BOM)
如果是多页的话,为了防止保存到CSV 文件中的数据被上一页覆盖,可以这样用:
mode='a', header = False
df.to_csv('D:/Python....csv', mode='a', header = False)
***********若有错误欢迎指正
欢迎关注微信公众号【软测小生】,号内有大量免费软件测试学习资料,欢迎自取,还望多多交流软件测试相关的内容*********