文件处理

Python处理文件

文件操作分为读、写、修改，我们先从读开始学习

读文件

文件内容

 姓名      地区    身高   体重   联系方式
马纤羽     深圳    173    50    13744234523
乔亦菲     广州    172    52    15823423525
罗梦竹     北京    175    49    18623423421
刘诺涵     北京    170    48    18623423765
岳妮妮     深圳    177    54    18835324553
贺婉萱     深圳    174    52    18933434452
叶梓萱     上海    171    49    18042432324

　　

示例1：

f = open(file='D:/工作日常/兼职白领学生空姐模特护士联系方式.txt',mode='r',encoding='utf-8')

data = f.read()

f.close()

上述操作语法解释：

file='D:/工作日常/兼职白领学生空姐模特护士联系方式.txt'  表示文件路径
mode='r'                                          表示只读（可以修改为其他）
encoding='utf-8'                                  表示将硬盘上的 0101010 按照utf-8的规则去“断句”，再将“断句”后的每一段0101010转换成unicode的 01010101，unicode对照表中有01010101和字符的对应关系。
f.read()                                          表示读取所有内容，内容是已经转换完毕的字符串。
f.close()                                         表示关闭文件

PS: 此处的encoding必须和文件在保存时设置的编码一致，不然“断句”会不准确从而造成乱码。

r 是文本模式

---

二进制模式

示例2：

f = open(file='D:/工作日常/兼职白领学生空姐模特护士联系方式.txt',mode='rb')
data = f.read()
f.close()

上述操作语法解释：

file='D:/工作日常/兼职白领学生空姐模特护士联系方式.txt'      表示文件路径
mode='rb'                                            表示只读（可以修改为其他）
f.read()                                             表示读取所有内容，内容是硬盘上原来以某种编码保存的 010101010，即：某种编码格式的字节类型
f.close()                                            表示关闭文件

与示例1的区别是：示例2打开文件时并未指定encoding。这是因为直接以rb模式打开了文件 ，rb是指二进制模式，数据读到内存里直接是bytes格式，如果想内容，还需要手动decode,因此在文件打开阶段，不需要指定编码

假如不知道要处理的文件是什么编码

 

import chardet    #chardet需自行安装

f = open('log',mode='rb')
data = f.read()
f.close()

result = chardet.detect(data) # result = chardet.detect(open('log',mode='rb').read())  
print(result)

 

输出：

{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

注意：

• 文件操作时，以 “r”或“rb” 模式打开，则只能读，无法写入；
• 硬盘上保存的文件都是某种编码的0101010，打开时需要注意：
  • rb，直接读取文件保存时原生的0101010，在Python中用字节类型表示
  • r和encoding，读取硬盘的0101010，并按照encoding指定的编码格式进行断句，再将“断句”后的每一段0101010转换成unicode的 010101010101，在Python中用字符串类型表示

二进制文件作用：图片、视频、网络传输

---

循环文件

f = open("兼职白领学生空姐模特护士联系方式.txt",'r',encoding="utf-8")

for line in f:
    print(line)

f.close()

f.read() # 打印所有内容

---

写文件

f = open(file='D:/工作日常/兼职白领学生空姐模特护士联系方式.txt',mode='w',encoding='utf-8')
f.write('北大本科美国留学一次50，微信号：xxxxx')
f.close()

上术操作语法解释：

file='D:/工作日常/兼职白领学生空姐模特护士联系方式.txt'     表示文件路径
mode='w'                                             表示只写
encoding='utf-8'                                     将要写入的unicode字符串编码成utf-8格式
f.write(...)                                         表示写入内容，写入的内容是unicode字符串类型，内部会根据encoding转换为制定编码的 01101010101，即：字节类型
f.close()

二进制写

f = open(file='D:/工作日常/兼职白领学生空姐模特护士联系方式.txt',mode='wb')
f.write('北大本科美国留学一次50，微信号：xxxxx'.encode('utf-8'))
f.close()

上述操作语法解释：

file='D:/工作日常/兼职白领学生空姐模特护士联系方式.txt'      表示文件路径
mode='wb'                                             表示只以2进制模式写
f.write(...)                                          表示写入内容，写入的内容必须字节类型，即：是某种编码格式的0101010
f.close()

注意：

文件操作时，以 “w”或“wb” 模式打开，则只能写，并且在打开的同时会先将内容清空。

写入到硬盘上时，必须是某种编码的0101010，打开时需要注意：

• wb，写入时需要直接传入以某种编码的0100101，即：字节类型
• w 和 encoding，写入时需要传入unicode字符串，内部会根据encoding制定的编码将unicode字符串转换为该编码的 010101010

不带b的机器转换成unicode，带b的不转

不带b的需要写encoding，带b不需要写

“w“是创建模式

---

追加

把内容追加到文件尾部

f = open("兼职白领学生空姐模特护士联系方式.txt",'a',encoding="gbk")

f.write("\n杜姗姗     北京    167    49    13324523342")
f.close()

运行结果

姓名        地区    身高    体重    电话
况咏蜜     北京    171    48    13651054608
......
岳妮妮     深圳    177    54    18835324553
贺婉萱     深圳    174    52    18933434452
叶梓萱     上海    171    49    18042432324
杜姗姗     北京    167    49    13324523342   #这行是添加的

注意：

文件操作时，以 “a”或“ab” 模式打开，则只能追加，即：在原来内容的尾部追加内容

写入到硬盘上时，必须是某种编码的0101010，打开时需要注意：

• ab，写入时需要直接传入以某种编码的0100101，即：字节类型
• a 和 encoding，写入时需要传入unicode字符串，内部会根据encoding制定的编码将unicode字符串转换为该编码的 010101010

---

读写混合模式

读写模式

f = open("兼职白领学生空姐模特护士联系方式.txt",'r+',encoding="gbk")
data = f.read() #可以读内容 
print(data)
f.write("\nblack girl    河北    167    50    13542342233") #可以写
f.close()

上面的内容写追加到了最后面。

写读模式

f = open("兼职白领学生空姐模特护士联系方式.txt",'w+',encoding="gbk")
data = f.read() 
print(data)

f.write("\nnewline 1哈哈")
f.write("\nnewline 2哈哈")
f.write("\nnewline 3哈哈")
f.write("\nnewline 4哈哈")

print("content",f.read())

f.close()

输出

         #注意这是个空行， 是上面print(data)的结果，代表 根本 没读到内容
content  #从这开始，读到的是刚写入的内容
newline 1哈哈
newline 2哈哈
newline 3哈哈
newline 4哈哈

此时查看文件 内容 发现，里面只有4条newline..内容，之前的旧内容全没了，事实代表，w+会先把文件清空，再写新内容，相比w模式，只是支持了一个读功能，且还只能读已经写入的新内容。

w+ 是先写后读，属于创建。会将以前文件里的内容清空，再重新写

r+ 是先读后写，写的内容追加到文件最后

---

 

文件操作的其它功能

    def fileno(self, *args, **kwargs): # real signature unknown
        返回文件句柄在内核中的索引值，以后做IO多路复用时可以用到

    def flush(self, *args, **kwargs): # real signature unknown
        把文件从内存buffer（缓存）里强制刷新到硬盘（返回写字符长度 ）

    def readable(self, *args, **kwargs): # real signature unknown
        判断是否可读

    def readline(self, *args, **kwargs): # real signature unknown
        只读一行，遇到\r or \n为止

    def tell(self, *args, **kwargs): # real signature unknown
        返回当前文件操作光标位置 （按字节找）

    def seek(self, *args, **kwargs): # real signature unknown
        把操作文件的光标移到指定位置（按字节找）
        *注意seek的长度是按字节算的， 字符编码存每个字符所占的字节长度不一样。
        如“路飞学城” 用gbk存是2个字节一个字，用utf-8就是3个字节，因此以gbk打开时，seek(4) 就把光标切换到了“飞”和“学”两个字中间。
        但如果是utf8,seek(4)会导致，拿到了飞这个字的一部分字节，打印的话会报错，因为处理剩下的文本时发现用utf8处理不了了，因为编码对不上了。少了一个字节

tell、seek 按字节找 read（按字符找）

    def seekable(self, *args, **kwargs): # real signature unknown
        判断文件是否可进行seek操作
 

    def truncate(self, *args, **kwargs): # real signature unknown
        按指定长度截断文件（写模式中）
        *指定长度的话，就从文件开头开始截断指定长度，不指定长度的话，就从当前位置到文件尾部的内容全去掉。


    def writable(self, *args, **kwargs): # real signature unknown 
        判断文件是否可写

---

修改文件

尝试直接以r+模式打开文件，默认会把新增的内容追加到文件最后面。是因为，文件一打开，要写的时候，光标会默认移到文件尾部，再开始写。

如果把光标seek中间位置，新内容会把后面的内容占掉。除非字节数一样。是因为硬盘的存储原理导致的，当把文件存到硬盘上，就在硬盘上划了一块空间，存数据，等下次打开这个文件 ，seek到一个位置，每改一个字，就是把原来的覆盖掉，如果要插入，是不可能的，因为后面的数据在硬盘上不会整体向后移。所以就出现 当前这个情况 ，想插入，却变成了会把旧内容覆盖掉。

想修改就不能在硬盘上硬修改。

法1：把内容全部读到内存里，数据在内存里可以随便增删改查，修改之后，把内容再全部写回硬盘，把原来的数据全部覆盖掉。vim word等各种文本编辑器都是这样实现的。

法2：如果不想占内存，就边读边改。打开旧文件的同时，生成一个新文件，边从旧的里面一行行的读，边往新的一行行写，遇到需要修改就改了再写到新文件 ，这样，在内存里一直只存一行内容。就不占内存了。但这样也有一个缺点，虽然不占内存 ，但是占硬盘，每次修改，都要生成一份新文件，虽然改完后，可以把旧的覆盖掉，但在改的过程中，还是有2份数据。

占硬盘方式的文件修改代码示例

f_name = "兼职白领学生空姐模特护士联系方式utf8.txt"
f_new_name = "%s.new" % f_name

old_str = "乔亦菲"
new_str = "[乔亦菲 Yifei Qiao]"

f = open(f_name,'r',encoding="utf-8")
f_new = open(f_new_name,'w',encoding="utf-8")

for line in f:

    if old_str in line:
        new_line = line.replace(old_str,new_str)
    else:
        new_line = line

    f_new.write(new_line)

f.close()
f_new.close()

上面的代码，会生成一个修改后的新文件 ，原文件不动，若想覆盖原文件

import os

f_name = "兼职白领学生空姐模特护士联系方式utf8.txt"
f_new_name = "%s.new" % f_name

old_str = "乔亦菲"
new_str = "[乔亦菲 Yifei Qiao]"

f = open(f_name,'r',encoding="utf-8")
f_new = open(f_new_name,'w',encoding="utf-8")

for line in f:

    if old_str in line:
        new_line = line.replace(old_str,new_str)
    else:
        new_line = line

    f_new.write(new_line)

f.close()
f_new.close()

os.rename(f_new_name,f_name) #把新文件名字改成原文件的名字，就把之前的覆盖掉了,windows使用os.replace # 帮助文档说明replace会覆盖原文件

占内存方式的文件修改代码

old_str = "马纤羽"
new_str = "佩奇"
f = open("联系方式","r+",encoding="utf-8")
data = f.read().split("\n")
li = []
print(data)
for i in data:
    if old_str in i:
        i = i.replace(old_str,new_str)
    li.append(i)
print(li)
f.truncate(0)
f.write("\n".join(li))
f.close()

练习题

练习题1 —— 全局替换程序：

• 写一个脚本，允许用户按以下方式执行时，即可以对指定文件内容进行全局替换

    `python your_script.py old_str new_str filename`
  

• 替换完毕后打印替换了多少处内容

f = open("文件练习", "r", encoding="utf_8")
f_n = open("文件练习2", "w", encoding="utf-8")
old = "天安门"
new = "故宫"
count = 0
for line in f:
    if old in line:
        line = line.replace(old,new)
        count += 1
    f_n.write(line)
print("替换次数%s"%count)

练习题2 —— 模拟登陆：

• 用户输入帐号密码进行登陆
• 用户信息保存在文件内
• 用户密码输入错误三次后锁定用户，下次再登录，检测到是这个用户也登录不了

f = open("用户登录信息_基础信息","r",encoding="utf-8")
f_lock = open("用户登录信息_锁定","r+",encoding="utf-8")
data = []
for i in f_lock:
    i = i.strip("\n")
    data.append(i)
msg = f.read().split("\n")
for i in msg:
    j = msg.index(i)
    i = eval(i)
    msg[j] = i
name = input("请输入用户名：")
name_list = []
for i in msg:
    name_list.append(i.get('name'))
if name in data:
    print('%s已锁定'%name)
    exit()
count = 0
while count < 3:
    if name in name_list:
        password = input("请输入密码：")
        num = name_list.index(name)
        if password == msg[num].get("password"):
            print("%s登录成功"%name)
            break
        else:
            print("密码错误，请重新输入")
            count += 1
    else:
        print("输入用户名无效")
        exit()
if count == 3:
    print("%s已锁定"%name)
    f_lock.write("%s\n"%name)