python基础五（文件操作）
一 文件操作
一 介绍
计算机系统分为：计算机硬件，操作系统，应用程序三部分。
我们用python或其他语言编写的应用程序若想要把数据永久保存下来，必须要保存于硬盘中，这就涉及到应用程序要操作硬件，众所周知，应用程序是无法直接操作硬件的，这就用到了操作系统。操作系统把复杂的硬件操作封装成简单的接口给用户/应用程序使用，其中文件就是操作系统提供给应用程序来操作硬盘虚拟概念，用户或应用程序通过操作文件，可以将自己的数据永久保存下来。
有了文件的概念，我们无需再去考虑操作硬盘的细节，只需要关注操作文件的流程：
#1. 打开文件，得到文件句柄并赋值给一个变量 #2. 通过句柄对文件进行操作 #3. 关闭文件
1、什么是文件 文件是操作系统提供给用户/应用程序操作硬盘的一种虚拟的概念/接口 用户/应用程序（open（）） 操作系统（文件） 计算机硬件（硬盘） 2、为何要用文件 用户/应用程序可以通过文件将数据永久保存到硬盘中 既操作文件就是操作硬盘 用户/应用程序直接操作的是文件，对文件进行的所有的操作，都是 在向操作系统发送系统调用，然后再由操纵将其转换成具体的硬盘操作 3、如何用文件：open() 控制文件读写内容的模式：t和b 强调：t和b不能单独使用，必须要跟r/w/a连用 # t文本（默认的模式） 1、读写都以str(unicode)为单位的 2、文本文件 3、必须指定encoding='utf-8' # b二进制/bytes # 控制文件读写操作的模式 # r只读模式 # w只写模式 # a只追加写模式 # +：r+、w+、a+
# 没有指定unccoding参数操作系统会使用自己默认的编码
# linux系统默认utf-8
# windows系统默认gbk
with open(r'a.txt', mode='rt', encoding='utf-8') as f:
res = f.read() # t模式会将f.read（）读出的结果解码成unicode
print(f, type(f))
print(res)
# 内存：utf-8格式的二进制-----解码(decoding)----》unicode
# 硬盘（a.txt内容：utf-8格式的二进制）
# t模式方便了文本的读写，不然还有个unicode的编码和解码
二 在python中
#1. 打开文件，得到文件句柄并赋值给一个变量 f=open('a.txt','r',encoding='utf-8') #默认打开模式就为r #2. 通过句柄对文件进行操作 data=f.read() #3. 关闭文件 f.close()
三 f=open('a.txt','r')的过程分析
#1、由应用程序向操作系统发起系统调用open(...) #2、操作系统打开该文件，并返回一个文件句柄给应用程序 #3、应用程序将文件句柄赋值给变量f
四 强调！！！
#强调第一点： 打开一个文件包含两部分资源：操作系统级打开的文件+应用程序的变量。在操作完毕一个文件时，必须把与该文件的这两部分资源一个不落地回收，回收方法为： 1、f.close() #回收操作系统级打开的文件 2、del f #回收应用程序级的变量 其中del f一定要发生在f.close()之后，否则就会导致操作系统打开的文件还没有关闭，白白占用资源， 而python自动的垃圾回收机制决定了我们无需考虑del f，这就要求我们，在操作完毕文件后，一定要记住f.close() 虽然我这么说，但是很多同学还是会很不要脸地忘记f.close(),对于这些不长脑子的同学，我们推荐傻瓜式操作方式：使用with关键字来帮我们管理上下文 with open('a.txt','w') as f: pass with open('a.txt','r') as read_f,open('b.txt','w') as write_f: data=read_f.read() write_f.write(data)
#强调第二点： f=open(...)是由操作系统打开文件，那么如果我们没有为open指定编码，那么打开文件的默认编码很明显是操作系统说了算了，操作系统会用自己的默认编码去打开文件，在windows下是gbk，在linux下是utf-8。 这就用到了上节课讲的字符编码的知识：若要保证不乱码，文件以什么方式存的，就要以什么方式打开。 f=open('a.txt','r',encoding='utf-8')
五 python2中的file与open
#首先在python3中操作文件只有一种选择，那就是open() #而在python2中则有两种方式：file()与open() 两者都能够打开文件，对文件进行操作，也具有相似的用法和参数，但是，这两种文件打开方式有本质的区别，file为文件类，用file()来打开文件，相当于这是在构造文件类，而用open()打开文件，是用python的内建函数来操作，我们一般使用open()打开文件进行操作，而用file当做一个类型，比如type(f) is file
二 打开文件的模式
# coding:gbk # 1、打开文件 # windows路径分隔符问题 # open('c:\a\liuqiao\d.txt') # 解决方案一：推荐 # open(r'c:\a\liuqiao\d.txt') # 解决方案二： # open('c:/a/liuqiao/d.txt') f = open(r'E:\Python学习\python全栈学习\day11\a.txt', mode='rt', encoding='utf-8') # f的值是一种变量，占用的是应用程序的内存空间 print(f) print(type(f)) # <_io.TextIOWrapper name='E:\\学习\\Python学习\\pycharm编程实践\\day11\\a.txt' mode='r' encoding='cp936'> # f是文本数据类型 # # 2、操作文件：读/写文件，应用程序对文件的读写请求都是在向操作系统发送 # 系统调用，然后由操作系统控制硬盘把输入读入内存、或者写入硬盘 res = f.read() print(res) # print(f.read()) # 3、关闭文件 # f.close() #回收操作系统资源 # print(f) #变量f存在，但是不能再读 # f.read()#变量f存在，但是不能再读
件句柄 = open('文件路径', '模式')
模式可以是以下方式以及他们之间的组合：
| Character | Meaning |
| ‘r' | open for reading (default) |
| ‘w' | open for writing, truncating the file first |
| ‘a' | open for writing, appending to the end of the file if it exists |
| ‘b' | binary mode |
| ‘t' | text mode (default) |
| ‘+' | open a disk file for updating (reading and writing) |
| ‘U' | universal newline mode (for backwards compatibility; should not be used in new code) |
#1. 打开文件的模式有(默认为文本模式)： r ，只读模式【默认模式，文件必须存在，不存在则抛出异常】 w，只写模式【不可读；不存在则创建；存在则清空内容】 a， 之追加写模式【不可读；不存在则创建；存在则只追加内容】 #2. 对于非文本文件，我们只能使用b模式，"b"表示以字节的方式操作（而所有文件也都是以字节的形式存储的，使用这种模式无需考虑文本文件的字符编码、图片文件的jgp格式、视频文件的avi格式） rb wb ab 注：以b方式打开时，读取到的内容是字节类型，写入时也需要提供字节类型，不能指定编码 #3. 了解部分 "+" 表示可以同时读写某个文件 r+， 读写【可读，可写】 w+，写读【可读，可写】 a+， 写读【可读，可写】 x， 只写模式【不可读；不存在则创建，存在则报错】 x+ ，写读【可读，可写】 xb
# 回车与换行的来龙去脉 http://www.cnblogs.com/linhaifeng/articles/8477592.html # U模式 'U' mode is deprecated and will raise an exception in future versions of Python. It has no effect in Python 3. Use newline to control universal newlines mode. # 总结： 在python3中使用默认的newline=None即可，换行符无论何种平台统一用\n即可
三 操作文件的方法
以t模式为基础进行内存操作
# 1、r(默认的操作模式）：只读模式，当文件不存在时报错，当文件存在时文件指针跳到开始位置 with open(r'a.txt', mode='rt', encoding='utf-8') as f: print('第一次读'.center(30, '*')) res = f.read() print(res) print('第二次读'.center(30, '*')) res1 = f.read() print(res1)
# 小练习：实现用户认证功能 # 方案一 inp_name = input('请输入你的名字: ').strip() inp_pwd = input('请输入你的密码: ').strip() with open(r'user.txt', mode='r', encoding='utf-8') as f: res = f.read() l1 = res.split() # 以\n为界切分成列表 print(l1) for l2 in l1: # 遍历列表，生成新的name和pwd的列表 u, p = l2.split(':') # 列表解压赋值 print(u, p) if inp_name == u and inp_pwd == p: print('登录成功') break else: print('账号名或者密码错误') # 方案二 inp_name = input('请输入你的名字: ').strip() inp_pwd = input('请输入你的密码: ').strip() with open(r'user.txt', mode='r', encoding='utf-8') as f: for line in f: # 生成的line是字符串(含了.read的功能），先.strip去除字符串前后的\n，再.split以':'为界切分成列表。 print(line, end='') # liuqiao:123\n print(line.strip('\n').split(':')) u, p = line.strip('\n').split(':') # 把用户输入的名字与密码与读出内容做比对 if inp_name == u and inp_pwd == p: print('登录成功') break else: print('账号名或者密码错误') # 应用程序---》文件 # 应用程序---》数据库管理软件----》文件
# 2、w:只写模式 ，当文件不存在时会创建空文件，当文件存在会清空文件，指针位于开始位置 with open('test.txt', mode='wt', encoding='utf-8') as f: f.write('x') f.write('lq') # 强调1 # 在以w模式打开文件没有关闭的情况下，连续写入，新的内容总是跟在旧的之后 with open('a.txt', mode='wt', encoding='utf-8') as f: f.write('I love you !\n') f.write('real\n') f.write('yes\n') # 强调2 # 如果重新以w模式打开文件，则会清空文件内容 # 案例：w模式用来创建全新的文件 # 文本文件的copy工具 with open('a.txt', mode='r', encoding='utf-8') as f1, \ open('c.txt', mode='w', encoding='utf-8') as f2: res = f1.read() f2.write(res) # 路径copy
# 3、a：只追加写，在文件不存在时会创建空文档,文件存在会将文件指针直接移动到文件末尾 with open('aaa.txt', mode='at', encoding='utf-8') as f: f.write('I love you !\n') f.write('real\n') f.write('yes\n') ''' #强调 w 模式与 a 模式的异同： # 1 相同点：在打开的文件不关闭的情况下，连续的写入，新写的内容总会跟在前面写的内容之后 # 2 不同点：以 a 模式重新打开文件，不会清空原文件内容，会将文件指针直接移动到文件末尾，新写的内容永远写在最后 ''' # 案例：a模式用来在原有的文件内存的基础之上写入新的内容，比如记录日志、注册功能 # 注册功能 ipname = input('请输入账号：').strip() ippasword = input('请输入密码：').strip() with open('register.txt', mode='a', encoding='utf-8') as f: f.write('{}:{}\n'.format(ipname, ippasword))
# 4、了解：+不能单独使用，必须配合r、w、a with open('c.txt', mode='r+', encoding='utf-8') as f: f.read() f.write('南平\n') f.write('南平平\n') # w+,a+,.read()从指针位置开始读 # r+ w+ a+ :可读可写 # 在平时工作中，我们只单纯使用r/w/a，要么只读，要么只写，一般不用可读可写的模式
以b模式为基础进行内存操作
t:
1、读写都是以字符串（unicode)为单位
2、只能针对文本文件
3、必须指定字符编码,既必须指定encoding参数
b:binary模式
1、读写都是以bytes为单位
2、可以针对所有文件
3、一定不能指定字符编码，一定不要指定encoding参数
with open(r'C:\Users\qiao\Desktop\test1.jpg', mode='rb') as f: res = f.read() # 硬盘的二进制读入内存--->b模式，不做任何转换，直接读入内存 print(res) # bytes类型-->当成二进制 print(type(res)) with open(r'aa.txt', mode='rb') as f: res = f.read() # utf-8的二进制 print(res) print(type(res)) res1 = res.decode() # 解码，就是t模式 print(res1)
强调：b模式对比t模式
1、在操作纯文本文件方面t模式帮我们省去了编码与解码的环节，b模式则需要手动编码与解码，所以此时t模式更为方便
2、针对非文本文件（如图片、视频、音频等）只能使用b模式
# 例子b模式下的w模式,文本举例 with open(r'bb.txt', mode='wb') as f: res = f.write('小宝小小宝'.encode('utf-8'))
# 文件拷贝工具 src_file = input('源文件路径: ').strip() dst_file = input('目标文件路径: ').strip() with open(r'{}'.format(src_file), mode='rb') as read_f, open(r'{}'.format(dst_file), mode='wb') as write_f: for line in read_f: print(line) write_f.write(line)
循环读取文件：
# 方式一：自己控制每次读取的数据的数据量 with open(r'test1.jpg', mode='rb') as f: while True: res = f.read(1024) # 1024个字节为单位读取，数量是编写者为准 if len(res) == 0: break print(res) print(len(res))
# 方式二：以行为单位读，当一行内容过长时会导致一次性读入内容的数据量过大 with open(r'cc.txt', mode='rb') as f: for line in f: print(line) with open(r'test1.jpg', mode='rb') as f1: for line in f1: print(line) # bytes类型数据也可通过for循环一行一行的读出来，\n为一行
文件操作的其他方法
# 一、读操作 # 1、readline:一次读一行,读取一行内容,光标移动到第二行首部 with open(r'aa.txt', mode='rt', encoding='utf-8') as f: res = f.readline() print(res, end='') # end默认'\n' res1 = f.readline() print(res1, end='*') with open(r'aa.txt', mode='rt', encoding='utf-8') as f1: while True: res2 = f1.readline() if len(res2) == 0: break print(res2, end='') # 2、readlines:读取每一行内容,存放于列表中 with open(r'aa.txt', mode='rt', encoding='utf-8') as f: res = f.readlines() print(res) # end默认'\n' ['liuqiao\n', '刘巧\n', 'xiaobao'] # f.read()与f.readlines()都是将内容一次性读入内容，如果内容过大会导致内存溢出
# 二：写相关操作 # f.writeline(): with open(r'dd.txt', mode='wt', encoding='utf-8') as f: f.writelines(['小宝\n', 'xiaobao\n', '123']) with open(r'dd.txt', mode='rt', encoding='utf-8') as f1: res = f1.read() print(res, type(f1.read())) print(f1.read()) # print在with子代码下，打印不出得，已关闭文件了
with open(r'ee.txt', mode='wb') as f: # 补充1：如果是纯英文字符吗，可以直接加前缀b得到bytes类型 # l = [b'lq', b'xiaobao', b'123'] # 补充2：'上'.encode('utf-8')等同于bytes('上',encoding('utf-8') l = [bytes('小宝\n', encoding='utf-8'), bytes('xiaobao\n', encoding='utf-8'), b'xiaobao123'] f.writelines(l)
# flush:立刻将文件内容从内存刷到硬盘,因为操作系统会在内存存了一堆数据后，再写入硬盘，操作系统已优化，flush用来测试 with open(r'ff.txt', mode='wt', encoding='utf-8') as f: f.write('小宝123') f.flush()
# 三.了解 with open(r'hh.txt', mode='wt', encoding='utf-8') as f: print(f.readable()) print(f.writable()) print(f.encoding) print(f.closed) print(f.closed)
四、控制文件指针的移动
# 指针移动的单位都是一bytes字节为单位 # 只有有一种情况特殊： # t模式下的read(n),n代表的是字符个数 # f.seek(n,模式）：n指的是移动的字节个数 # 模式： # 模式0：参照物是文件开头位置 # f.seek(9,0) # f.seek(3,0) # 3 with open(r'ff.txt', mode='rt', encoding='utf-8') as f: f.seek(3, 0) # 参照文件开头移动了3个字节 print(f.tell()) # 查看当前文件指针距离文件开头的位置，输出结果为3 print(f.read()) # 从第3个字节的位置读到文件末尾，输出结果为：宝123;read从指针位置开始，往后读 # 注意：由于在t模式下，会将读取的内容自动解码，所以必须保证读取的内容是一个完整中文数据，否则解码失败，一个中文是3个bytes with open('ff.txt', mode='rb') as f: f.seek(6, 0) print(f.tell()) print(f.read().decode('utf-8')) # 输出结果为:123
# 模式1:参照物是当前指针所在的位置 # f.seek(9,1) # f.seek(3,1) #12 with open(r'ff.txt', mode='rb') as f: f.seek(3, 1) # 从当前位置往后移动3个字节，而此时的当前位置就是文件开头 print(f.tell()) # 输出结果为：3 f.seek(4, 1) # 从当前位置往后移动4个字节，而此时的当前位置为3 print(f.tell()) # 输出结果为：7 # 模式2:参照物是文件末尾位置，应该倒着移动 # f.seek(9,2) #末尾了，不能在向右移动，还是末尾位置 # f.seek(-9,2) #应该倒着移动 with open(r'ff.txt', mode='rb') as f: f.seek(0, 2) # 参照文件末尾移动0个字节， 即直接跳到文件末尾 print(f.tell()) # 输出结果为：9 f.seek(-3, 2) # 参照文件末尾往前移动了3个字节 print(f.read().decode('utf-8')) # 输出结果为：123
自己总结文件内容b模式下：f.write('xxx'.encode('utf-8'));f.read().decode('utf-8'),写是编码，读是解码。
# 之前文件内指针的移动都是由读/写操作而被动触发的，若想读取文件某一特定位置的数据，则则需要用f.seek方法主动控制文件内指针的移动，详细用法如下：
# f.seek(指针移动的字节数,模式控制):
# 模式控制:
# 0: 默认的模式,该模式代表指针移动的字节数是以文件开头为参照的
# 1: 该模式代表指针移动的字节数是以当前所在的位置为参照的
# 2: 该模式代表指针移动的字节数是以文件末尾的位置为参照的
# 强调:其中0模式可以在t或者b模式使用,而1跟2模式只能在b模式下用
# f.tell() #获取文件指针当前位置
五、文件修改的两种方式
# 强调： # 1、硬盘空间是无法修改的,硬盘中数据的更新都是用新内容覆盖旧内容 # 2、内存中的数据是可以修改的 # 1 文件修改方式一 # 实现思路：将文件内容发一次性全部读入内存,然后在内存中修改完毕后再覆盖写回原文件 # 优点: 在文件修改过程中同一份数据只有一份 # 缺点: 会过多地占用内存 with open('aaa.txt', mode='rt', encoding='utf-8') as f: data = f.read() with open('aaa.txt', mode='wt', encoding='utf-8') as f: f.write(data.replace('xiaobao', 'zzzzdddd')) # 2 文件修改方式二 # 实现思路：以读的方式打开原文件,以写的方式打开一个临时文件,一行行读取原文件内容,修改完后写入临时文件...,删掉原文件,将临时文件重命名原文件名 # 优点: 不会占用过多的内存 # 缺点: 在文件修改过程中同一份数据存了两份 import os with open('aaa.txt', mode='rt', encoding='utf-8') as read_f, \ open('.db.txt.swap', mode='wt', encoding='utf-8') as wrife_f: for line in read_f: wrife_f.write(line.replace('zzzzdddd', 'xiaobao')) os.remove('aaa.txt') os.rename('.db.txt.swap', 'aaa.txt')
六、作业
#作业二：请闭眼写出购物车程序 #需求: 注册用户名和密码存放于文件中，格式为：egon，123，10000并输入工资收入 启动程序后，先登录，登录成功,然后打印商品列表，失败则重新登录，超过三次则退出程序 允许用户根据商品编号购买商品 用户选择商品后，检测余额是否够，够就直接扣款，不够就提醒 可随时退出，退出时，打印已购买商品和余额
product_list = [['Iphone7', 5800], ['Coffee', 30], ['疙瘩汤', 10], ['Python Book', 99], ['Bike', 199], ['ViVo X9', 2499], ] shopping_cart = {} db_file = r'db.txt' current_user_info = [] while True: print(''' 1、登录 2、注册 3、购物 ''') choice = input('请输入选择：').strip() # 登录 if choice == '1': count = 0 tag = True while tag: if count == 3: print('输入错误超过三次，请重新登录！') break username = input('请输入用户名：').strip() password = input('请输入密码：').strip() with open(db_file, mode='rt', encoding='utf-8') as f: for line in f: line = line.strip('\n') user_info = line.split(',') if username == user_info[0] and password == user_info[1]: print('登录成功') current_user_info = [user_info[0], user_info[2]] print('用户信息：', current_user_info) tag = False break else: print('账号或密码错误') count += 1 # 注册 if choice == '2': reg_username = input('请输入注册用户名：') while True: reg_password = input('请输入注册用密码：') reg_password1 = input('再次输入注册用户密码：') if reg_password == reg_password1: break else: print('两次密码不一致，请重新注册！') income = input('请输入工资收入：') with open(db_file, mode='at', encoding='utf-8') as f: f.write('\n{},{},{}'.format(reg_username, reg_password, income)) # 购物 if choice == '3': if len(current_user_info) == 0: print('请先登录！') else: # 登录成功，请购物 print('先生{}您好，你的余额还有{}元，请尽情购物!!!'.format(current_user_info[0], current_user_info[1])) uname_of_db = current_user_info[0] income_db = current_user_info[1] tag = True while tag: for index, product in enumerate(product_list): print(index, product) choice = input('请输入商品编号，输入q退出：').strip() if choice.isdigit(): choice = int(choice) if choice < 0 or choice > len(product_list): continue p_name = product_list[choice][0] p_price = product_list[choice][1] income_db = int(current_user_info[1]) if p_price < income_db: if p_name in shopping_cart: # 以前买过 shopping_cart[p_name]['count'] += 1 else: shopping_cart[p_name] = {'p_price': p_price, 'count': 1} income_db -= p_price current_user_info[1] = income_db print('增加了商品+{}+到了购物车里'.format(p_name)) else: print('穷逼你买不起，商品价格是{}元，你还差{}元！'.format(p_price, p_price - income_db)) print(shopping_cart) elif choice == 'q': print(''' ------------------- 已购买商品列表 ------------------- id 商品 数量 单价 总价 ''') total_cost = 0 for i, key in enumerate(shopping_cart): print('%22s%18s%18s%18s%18s' % ( i, key, shopping_cart[key]['count'], shopping_cart[key]['p_price'], shopping_cart[key]['p_price'] * shopping_cart[key]['count'] )) total_cost += shopping_cart[key]['p_price'] * shopping_cart[key]['count'] print(""" 您的总花费为: %s 您的余额为: %s ---------------------------------end--------------------------------- """ % (total_cost, income_db)) while tag: inp = input('确认购买(yes/no?)>>: ').strip() if inp not in ['Y', 'N', 'y', 'n', 'yes', 'no']: continue if inp in ['Y', 'y', 'yes']: # 将余额写入文件 import os with open(db_file, mode='rt', encoding='utf-8') as f_read, \ open(r'swp.txt', mode='wt', encoding='utf-8') as f_write: for line in f_read: if line.startswith(current_user_info[0]): l = line.strip('\n').split(',') l[2] = str(income_db) line = ','.join(l) + '\n' f_write.write(line) os.remove(db_file) os.rename(r'swp.txt', db_file) print('购买成功') print(current_user_info) shopping_cart = {} current_user_info = [] tag = False else: print('输入有问题') else: print('输入非法')
