TXT文本文件存储
用解析器解析出数据之后,接下来就是存储数据了。保存的形式可以多种多样,最简单的形式是直接保存为文本文件,如 TXT、JSON、CSV 等。另外,还可以保存到数据库中,如关系型数据库 MySQL,非关系型数据库 MongoDB、Redis 等。除了这两种也可以吧数据存储到搜索引擎(如Elasticsearch中),以便检索和查看
TXT 文本存储
将数据保存到 TXT 文本的操作非常简单,而且 TXT 文本几乎兼容任何平台,但是这有个缺点,那就是不利于检索。所以如果对检索和数据结构要求不高,追求方便第一的话,可以采用 TXT 文本存储。本节中,我们就来看下如何利用 Python 保存 TXT 文本文件。
以电影实例网站https://ssr1.scrape.center/为例,爬取首页十步电影的数据,将相关信息存储为TXT文本格式。
基本实例
import requests from pyquery import PyQuery as pq import re url = 'https://ssr1.scrape.center/' html = requests.get(url).text doc = pq(html) # 选取电影卡片 items = doc('.el-card').items() file = open('movies.txt', 'w', encoding='utf-8') for item in items: # 名称 name = item.find('a > h2').text() file.write(f'名称: {name}\n') # 类别 categories = [item.text() for item in item.find('.categories button span').items()] file.write(f'类别: {categories}\n') # 上映时间 published_at = item.find('.info:contains(上映)').text() published_at = re.search('(\d{4}-\d{2}-\d{2})', published_at).group(1)\ if published_at and re.search('\d{4}-\d{2}-\d{2}', published_at) else None file.write(f'上映时间: {published_at}\n') # 评分 score = item.find('p.score').text() file.write(f'评分: {score}\n') file.write(f'{"=" * 50}\n') file.close()
这里主要是为了演示文件保存的方式,因此 requests 异常处理部分在此省去。首先用 requests库提取网站首页的HTML代码,然后利用pyquery解析库将电影名字、类别、上映时间、评分信息提取出来。
利用 Python 提供的 open 方法打开一个文本文件,获取一个文件操作对象,这里赋值为 file,每提取一部分信息就利用file对象的write方法将这部分信息写入文件。
全部信息提取完毕之后,调用 close 方法将file对象关闭,这样抓取的网站首页可成功写入文本中了。
运行程序,可以发现在本地生成了一个movies.txt 文件。
电影信息的内容就被保存成文本形式了。
open 方法的第一个参数即要保存的目标文件名称,第二个参数为代表数据以后以哪种方式写入,此处为w,表示以覆盖方式写入。第三色参数指定了文件的编码为 utf-8。最后,写入完成后,还需要调用 close 方法来关闭文件对象。
刚才的实例中,open 方法的第二个参数设置成了 a,这样在每次写入文本时不会清空源文件,而是在文件末尾写入新的内容,这是一种文件打开方式。关于文件的打开方式,其实还有其他几种,这里简要介绍一下。
- r:以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
- rb:以二进制只读方式打开一个文件。文件指针将会放在文件的开头。
- r+:以读写方式打开一个文件。文件指针将会放在文件的开头。
- rb+:以二进制读写方式打开一个文件。文件指针将会放在文件的开头。
- w:以写入方式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
- wb:以二进制写入方式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
- w+:以读写方式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
- wb+:以二进制读写格式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
- a:以追加方式打开一个文件。如果该文件已存在,文件指针将会放在文件结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,则创建新文件来写入。
- ab:以二进制追加方式打开一个文件。如果该文件已存在,则文件指针将会放在文件结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,则创建新文件来写入。
- a+:以读写方式打开一个文件。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,则创建新文件来读写。
- ab+:以二进制追加方式打开一个文件。如果该文件已存在,则文件指针将会放在文件结尾。如果该文件不存在,则创建新文件用于读写。
文件写入还有一种简写方法,那就是使用 with as 语法。在 with 控制块结束时,文件会自动关闭,所以就不需要再调用 close 方法了。这种保存方式可以简写如下:
with open('movies.txt', 'w', encoding='utf-8') as file:
for item in items:
# 名称
name = item.find('a > h2').text()
# 类别
categories = [item.text() for item in item.find('.categories button span').items()]
# 上映时间
published_at = item.find('.info:contains(上映)').text()
published_at = re.search('(\d{4}-\d{2}-\d{2})', published_at).group(1) \
if published_at and re.search('\d{4}-\d{2}-\d{2}', published_at) else None
# 评分
score = item.find('p.score').text()
file.write(f'名称: {name}\n')
file.write(f'类别: {categories}\n')
file.write(f'上映时间: {published_at}\n')
file.write(f'评分: {score}\n')
file.write(f'{"=" * 50}\n')
以上是利用 Python 将结果保存为 TXT 文件的方法,这种方法简单易用,操作高效,是一种最基本的保存数据的方法。