Python | 文件处理
文件的读写
文件对象
在python中用open()可以创建一个文件对象。
open()使用方法：
open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)
参数说明:
file: 必需，文件路径（相对或者绝对路径）。
mode: 可选，文件打开模式 （常用）
buffering: 设置缓冲
encoding: 一般使用utf8 （常用）
errors: 报错级别
newline: 区分换行符（一般不用）
closefd: 传入的文件参数类型（一般不用）
opener: 设置自定义开启器，开启器的返回值必须是一个打开的文件描述符。
举个例子，这样：
f = open('1.txt','r') #这是一般的使用形式
f现在是一个文件对象
1.txt是文件路径（打开的文件在这个py文件的同目录下）
r是文件打开模式
打开模式
1、单独打开模式
下面是几个单独的模式：
t：文本模式 (默认)。f = open('1.txt','t')
b：二进制模式（用于打开音频、视频、图片等的模式）。f = open('1.txt','b')
+：打开一个文件进行更新(可读可写，这个一般不单独使用)。
r：以只读方式打开文件，读取的文件如果不存在会报错（FileNotFoundError: [Errno 2] No such file or directory: '1.txt'）。文件的指针将会放在文件的开头。这是默认模式。f = open('1.txt','r')
w：打开一个文件只用于写入。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。
a：打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。f = open('1.txt','a')
2、组合打开模式
每个单独模式可以进行组合，形成更强大的打开模式。
例如下面这些组合：
rb：以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。f = open('1.txt','rb')
r+：打开一个文件用于读写，如果操作的文件不存在会报错。文件指针将会放在文件的开头（）。f = open('1.txt','r+')
rb+：以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。f = open('1.txt','rb+')
wb：以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。一般用于非文本文件如图片，视频，音频等。
w+：打开一个文件用于读写。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。
ab：以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。f = open('1.txt','ab')
a+：打开一个文件用于读写。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，创建新文件用于读写。f = open('1.txt','a+')
ab+：以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。如果该文件不存在，创建新文件用于读写。f = open('1.txt','ab+')
读写
1、读
有三个方法可以使用
file.read([size])从文件读取指定的字节数，如果未给定或为负则读取所有。
例1：
f = open('1.txt', 'r')
content = f.read()
print('content: ' + content1)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果：
content:
12345
67890
12345
67890
例2：
f = open('1.txt', 'r')
content = f.read(2)
print('content: ' + content)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果:
content:
12
file.readline([size])读取整行，包括 “\n” 字符。
例1：
f = open('1.txt', 'r')
content = f.readline()
print('content: ' + content)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果：
content:
12345
例2：
f = open('1.txt', 'r')
content1 = f.readline()
content2 = f.readline()
print('content1: \n' + content1)
print('content2: \n' + content2)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果:
content1:
12345
content2:
67890
例3:
f = open('1.txt', 'r')
content1 = f.readline(3)
content2 = f.readline()
print('content1: \n' + content1)
print('content2: \n' + content2)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果：
content1:
123
content2:
45
file.readlines([sizeint])读取所有行并返回列表，若给定sizeint>0，则是设置一次读多少字节，这是为了减轻读取压力。
例1：
f = open('1.txt', 'r')
content = f.readlines()
print('content: ',content)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果：
content: ['12345\n', '67890\n', '12345\n', '67890']
例2：
f = open('1.txt', 'r')
content = f.readlines(5)
print('content: ',content)
f.close() # 当文件结束使用后记住需要关闭文件
运行结果：
content: ['12345\n']
2、写
file.write(str)将字符串写入文件，返回的是写入的字符长度。
f = open('1.txt', 'w')
f.write("abcd")
f.close() # 当文件结束使用后记住需要关闭文件
f = open('1.txt', 'r')
print(f.read())
f.close
运行结果：abcd
file.writelines(sequence)向文件写入一个序列字符串列表，如果需要换行则要自己加入每行的换行符。
f = open('1.txt', 'w')
f.writelines("ab\ncd")
f.close() # 当文件结束使用后记住需要关闭文件
f = open('1.txt', 'r')
print(f.read())
f.close
运行结果：
ab
cd
文件的复制
使用该模块中 shutil 对象的 copy 方法可以对文件进行复制操作。
shutil.copy(旧文件,新文件)
书写成真实代码如下：
import shutil
shutil.copy("test.txt","aaa.txt")
shutil.copy("test.txt","../aaa.txt") # 不同目录拷贝
文件目录的复制
copytree 方法语法格式与 copy 一致，只不过该方法是用来复制目录的，如果目录下面有子目录或文件一起复制。
import shutil
# 第一个参数是旧目录，第二个参数是新目录
shutil.copytree("../1","a4")
执行代码时，需要确定新目录不存在，如果存在会报错。
多用的 move 方法
使用 move 方法可以移动文件。
shutil.move(旧文件，新文件)
移动文件一定要确保旧文件存在，移动之后旧文件将移动到新文件位置。
使用 move 方法可以修改文件名，在移动文件的过程中，如果新旧文件名称不一致，可实现移动文件并重命名的效果。
使用 move 方法还可以移动目录，移动目录时会将该目录下的所有文件一起移动。当然如果新旧目录名称不一致，还可以实现移动目录并重命名的效果。
删除有数据的目录
使用 rmtree 可以删除有数据的目录，相当于直接清空该目录下的所有目录和文件，再顺便把该目录也删除了。具体内容自行测试即可。
python如何处理大文件的读写
在Python中，处理大文件需要特别注意，因为如果直接将整个文件读入内存，可能会导致内存不足的问题。以下是一些处理大文件的技巧：
- 逐行读取：使用for循环逐行读取文件，而不是一次性读入整个文件。这样可以避免将整个文件存储在内存中。
with open('large_file.txt', 'r') as f:
for line in f:
# 处理每一行数据
- 使用生成器：将文件读取操作封装为生成器函数，使用yield逐行返回数据。这样可以在不占用大量内存的情况下迭代读取文件内容。
def read_large_file(file_path):
with open(file_path, 'r') as f:
for line in f:
yield line
for line in read_large_file('large_file.txt'):
# 处理每一行数据
- 分块读取：将文件分成多个块进行读取，每次读取一块数据。这样可以减少内存占用，但需要注意块的大小。
with open('large_file.txt', 'r') as f:
while True:
chunk = f.read(1024) # 每次读取1024字节
if not chunk:
break
# 处理数据块
- 使用内存映射文件：使用mmap模块将文件映射到内存中，以提高读写性能。这种方法适用于处理非常大的文件，但需要注意文件映射到内存中的大小限制。
import mmap
with open('large_file.txt', 'r') as f:
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
# 处理内存映射文件中的数据
以上是一些处理大文件的技巧，您可以根据具体情况选择适合自己的方法。
使用with上下文读写文件
可以看我的文章：https://www.cnblogs.com/zhangxuegold/p/17521351.html
这篇是关于with关键字的详解。
