Python学习笔记之爬取网页保存到本地文件

 爬虫的操作步骤：

 

爬虫三步走

• 爬虫第一步：使用requests获得数据： （request库需要提前安装，通过pip方式，参考之前的博文）
  1.导入requests
  2.使用requests.get获取网页源码

• import requests
  r = requests.get('https://book.douban.com/subject/1084336/comments/').text
  

  　　

  　　

• 爬虫第二步：使用BeautifulSoup4解析数据： （BeautifulSoup4库需要提前安装，通过pip方式，参考之前的博文）
  1.导入bs4
  2.解析网页数据
  3.寻找数据
  4.for循环打印

from bs4 import BeautifulSoup
soup = BeautifulSoup(r,'lxml')
pattern = soup.find_all('p','comment-content')
for item in pattern:
print(item.string)

　　

• 爬虫第三步：使用pandas保存数据： （pandas库需要提前安装，通过pip方式，参考之前的博文）
  1.导入pandas
  2.新建list对象
  3.使用to_csv写入

import pandas
comments = []
for item in pattern:
comments.append(item.string)
df = pandas.DataFrame(comments)
df.to_csv('comments.csv')

　　 

完整的爬虫(值得注意的是关于BeautifulSoup和pandas两个包，都需要事先在电脑上安装，可以使用pip命令方式安装，具体方法可查看之前的博文命令 pip install beautifulsoup    &  pip install pandas)

import requests
r = requests.get('https://book.douban.com/subject/1084336/comments/').text
 
from bs4 import BeautifulSoup
soup = BeautifulSoup(r,'lxml')
pattern = soup.find_all('p','comment-content')
for item in pattern:
print(item.string)
 
import pandas
comments = []
for item in pattern:
comments.append(item.string)
df = pandas.DataFrame(comments)
df.to_csv('comments.csv')#当然这里可以指定文件路径，如 D:/PythonWorkSpace/TestData/comments.csv

代码运行结果：（注意的是，运行结果为csv，可能你用Excel打开之后会出现乱码，那是因为csv格式不对，怎么解决呢？

你可以将csv文件用Notepad++打开，编码Encoding选择 Encode in UTF-8-BOM）

 

如果是多页的话，为了防止保存到CSV 文件中的数据被上一页覆盖，可以这样用：

mode='a', header = False

df.to_csv('D:/Python....csv', mode='a', header = False)