Python | 文件处理
文件的读写
文件对象
在python中用open()
可以创建一个文件对象。
open()使用方法:
open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)
参数说明:
file
: 必需,文件路径(相对或者绝对路径)。
mode
: 可选,文件打开模式 (常用)
buffering
: 设置缓冲
encoding
: 一般使用utf8 (常用)
errors
: 报错级别
newline:
区分换行符(一般不用)
closefd
: 传入的文件参数类型(一般不用)
opener
: 设置自定义开启器,开启器的返回值必须是一个打开的文件描述符。
举个例子,这样:
f = open('1.txt','r') #这是一般的使用形式
f
现在是一个文件对象
1.txt
是文件路径(打开的文件在这个py文件的同目录下)
r
是文件打开模式
打开模式
1、单独打开模式
下面是几个单独的模式:
t
:文本模式 (默认)。f = open('1.txt','t')
b
:二进制模式(用于打开音频、视频、图片等的模式)。f = open('1.txt','b')
+
:打开一个文件进行更新(可读可写,这个一般不单独使用)。
r
:以只读方式打开文件,读取的文件如果不存在会报错(FileNotFoundError: [Errno 2] No such file or directory: '1.txt'
)。文件的指针将会放在文件的开头。这是默认模式。f = open('1.txt','r')
w
:打开一个文件只用于写入。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。
a
:打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。f = open('1.txt','a')
2、组合打开模式
每个单独模式可以进行组合,形成更强大的打开模式。
例如下面这些组合:
rb
:以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。f = open('1.txt','rb')
r+
:打开一个文件用于读写,如果操作的文件不存在会报错。文件指针将会放在文件的开头()。f = open('1.txt','r+')
rb+
:以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。f = open('1.txt','rb+')
wb
:以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。一般用于非文本文件如图片,视频,音频等。
w+
:打开一个文件用于读写。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。
ab
:以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。f = open('1.txt','ab')
a+
:打开一个文件用于读写。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,创建新文件用于读写。f = open('1.txt','a+')
ab+
:以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。如果该文件不存在,创建新文件用于读写。f = open('1.txt','ab+')
读写
1、读
有三个方法可以使用
file.read([size])
从文件读取指定的字节数,如果未给定或为负则读取所有。
例1:
f = open('1.txt', 'r')
content = f.read()
print('content: ' + content1)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果:
content:
12345
67890
12345
67890
例2:
f = open('1.txt', 'r')
content = f.read(2)
print('content: ' + content)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果:
content:
12
file.readline([size])
读取整行,包括 “\n” 字符。
例1:
f = open('1.txt', 'r')
content = f.readline()
print('content: ' + content)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果:
content:
12345
例2:
f = open('1.txt', 'r')
content1 = f.readline()
content2 = f.readline()
print('content1: \n' + content1)
print('content2: \n' + content2)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果:
content1:
12345
content2:
67890
例3:
f = open('1.txt', 'r')
content1 = f.readline(3)
content2 = f.readline()
print('content1: \n' + content1)
print('content2: \n' + content2)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果:
content1:
123
content2:
45
file.readlines([sizeint])
读取所有行并返回列表,若给定sizeint>0,则是设置一次读多少字节,这是为了减轻读取压力。
例1:
f = open('1.txt', 'r')
content = f.readlines()
print('content: ',content)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果:
content: ['12345\n', '67890\n', '12345\n', '67890']
例2:
f = open('1.txt', 'r')
content = f.readlines(5)
print('content: ',content)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果:
content: ['12345\n']
2、写
file.write(str)
将字符串写入文件,返回的是写入的字符长度。
f = open('1.txt', 'w')
f.write("abcd")
f.close() # 当文件结束使用后记住需要关闭文件
f = open('1.txt', 'r')
print(f.read())
f.close
运行结果:abcd
file.writelines(sequence)
向文件写入一个序列字符串列表,如果需要换行则要自己加入每行的换行符。
f = open('1.txt', 'w')
f.writelines("ab\ncd")
f.close() # 当文件结束使用后记住需要关闭文件
f = open('1.txt', 'r')
print(f.read())
f.close
运行结果:
ab
cd
文件的复制
使用该模块中 shutil 对象的 copy 方法可以对文件进行复制操作。
shutil.copy(旧文件,新文件)
书写成真实代码如下:
import shutil
shutil.copy("test.txt","aaa.txt")
shutil.copy("test.txt","../aaa.txt") # 不同目录拷贝
文件目录的复制
copytree
方法语法格式与 copy
一致,只不过该方法是用来复制目录的,如果目录下面有子目录或文件一起复制。
import shutil
# 第一个参数是旧目录,第二个参数是新目录
shutil.copytree("../1","a4")
执行代码时,需要确定新目录不存在,如果存在会报错。
多用的 move 方法
使用 move 方法可以移动文件。
shutil.move(旧文件,新文件)
移动文件一定要确保旧文件存在,移动之后旧文件将移动到新文件位置。
使用 move 方法可以修改文件名,在移动文件的过程中,如果新旧文件名称不一致,可实现移动文件并重命名的效果。
使用 move 方法还可以移动目录,移动目录时会将该目录下的所有文件一起移动。当然如果新旧目录名称不一致,还可以实现移动目录并重命名的效果。
删除有数据的目录
使用 rmtree
可以删除有数据的目录,相当于直接清空该目录下的所有目录和文件,再顺便把该目录也删除了。具体内容自行测试即可。
python如何处理大文件的读写
在Python中,处理大文件需要特别注意,因为如果直接将整个文件读入内存,可能会导致内存不足的问题。以下是一些处理大文件的技巧:
- 逐行读取:使用for循环逐行读取文件,而不是一次性读入整个文件。这样可以避免将整个文件存储在内存中。
with open('large_file.txt', 'r') as f:
for line in f:
# 处理每一行数据
- 使用生成器:将文件读取操作封装为生成器函数,使用yield逐行返回数据。这样可以在不占用大量内存的情况下迭代读取文件内容。
def read_large_file(file_path):
with open(file_path, 'r') as f:
for line in f:
yield line
for line in read_large_file('large_file.txt'):
# 处理每一行数据
- 分块读取:将文件分成多个块进行读取,每次读取一块数据。这样可以减少内存占用,但需要注意块的大小。
with open('large_file.txt', 'r') as f:
while True:
chunk = f.read(1024) # 每次读取1024字节
if not chunk:
break
# 处理数据块
- 使用内存映射文件:使用mmap模块将文件映射到内存中,以提高读写性能。这种方法适用于处理非常大的文件,但需要注意文件映射到内存中的大小限制。
import mmap
with open('large_file.txt', 'r') as f:
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
# 处理内存映射文件中的数据
以上是一些处理大文件的技巧,您可以根据具体情况选择适合自己的方法。
使用with上下文读写文件
可以看我的文章:https://www.cnblogs.com/zhangxuegold/p/17521351.html
这篇是关于with关键字的详解。