Fork me on GitHub

python 文件操作总结

  文件操作对于编程语言的重要性不言而喻,如果数据不能持久保存,信息技术也就失去了意义。

  文件操作的内容包括打开文件,操作文件,关闭文件

  关于文件操作的相关模块请参考博客:https://www.cnblogs.com/wj-1314/p/8557077.html

一,打开文件

  python中打开文件的函数为open('filename',mode='r',encode='None'),open函数默认返回文件的句柄,我们可以根据句柄来对文件进行增,删,改,查的操作。将句柄赋给我们定义的变量,假设我们定义变量为f,则f=open('filename',mode='r',encode='utf-8') 或者with open('filename') as f。

注意点:

  1.python解释器打开文件时,是对硬盘进行操作,需要内核态才可以操作硬盘,故此时python解释器是调用操作系统的文件读取接口。windows中文版本默认使用GBK编码表,linux默认使用utf-8,所有如果操作的文件在windows下,非GBK编码的,需要在open函数中声明编码类型,使操作系统运用相应的编码规则进行解码读取,防止串码,乱码现象。

  2.open主要有三种模式,读(r),写(w),追加(a),其中,默认为读模式。各个模式的详解,见下文。

二,关闭文件

关闭文件有两组方式:

  1.使用f.close()  ,f为open返回的句柄赋值的变量名。

   2.程序结束后,自动关闭。第一个方法容易造成文件写操作时,数据的丢失。原因是写数据时,数据会先保存在内存中,文件关闭时才会写入硬盘,此时如果文件未关闭,软件因为异常崩溃,导致内存中的数据丢失,且未写入硬盘中。作为第一种关闭方法的优化,是使用:with open('filename') as f 。with会创建一个程序块,将文件操作置于with程序块下,这样with控制块结束,文件也会自动关闭。

语法如下:

with open('f1.txt') as f1 , open('f2.txt') as f2:
    ......

  

三,操作文件

3.1 file的基本方法

方法

功能

F.read([size])  

size为读取的长度,以byte为单位

F.readline([size]) 

如果定义了size,有可能返回的只是一行的一部分 

F.readlines([size]) 

把文件每一行作为一个list的一个成员,并返回这个list。其实它的内部是通过循环调用readline()来实现的。如果提供size参数,size是表示读取内容的总长,也就是说可能只读到文件的一部分

F.write(str) 

把str写到文件中,write()并不会在str后加上一个换行符

F.writelines(seq) 

把seq的内容全部写到文件中。这个函数也只是忠实地写入,不会在每行后面加上任何东西

F.close() 

关闭文件。python会在一个文件不用后自动关闭文件,不过这一功能没有保证,最好还是养成自己关闭的习惯。如果一个文件在关闭后还对其进行操作会产生ValueError 

F.flush()

把缓冲区的内容写入硬盘 ,即将内存中的数据刷新到银盘上

F.fileno() 

返回一个长整型的”文件标签“ 

F.isatty()

文件是否是一个终端设备文件(unix系统中的)

F.tell() 

返回文件操作标记的当前位置,以文件的开头为原点 

F.next()

返回下一行,并将文件操作标记位移到下一行。把一个file用于for ... in file这样的语句时,就是调用next()函数来实现遍历的。 

F.seek(offset[,whence]) 

将文件打操作标记移到offset的位置。这个offset一般是相对于文件的开头来计算的,一般为正数。但如果提供了whence参数就不一定了,whence可以为0表示从头开始计算,1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。需要注意,如果文件以a或a+的模式打开,每次进行写操作时,文件操作标记会自动返回到文件末尾

F.truncate([size]) 

把文件裁成规定的大小,默认的是裁到当前文件操作标记的位置。如果size比文件的大小还要大,依据系统的不同可能是不改变文件,也可能是用0把文件补到相应的大小,也可能是以一些随机的内容加上去。如果没有指定 size,则从当前位置起截断;截断之后 size 后面的所有字符被删除。

 

3.2 文件的读取、创建、追加、删除、清空

一,用python创建一个新文件,内容是0到9的整数,每个数字占一行

f = open('f.txt','w')
for i in range(0,10):
    f.write(str(i)+'\n')
f.close()

二,文件内容追加,从0到9的10个随机整数

import random
f = open('f.txt','a')
for i in range(0,10):
    f.write(str(random.randint(0,9)))
f.write('\n')
f.close()

三、文件内容追加,从0到9的随机整数, 10个数字一行,共10行

import random
f = open('f.txt','a')
for i in range(0,10):
    for i in range(0,10):
        f.write(str(random.randint(0,9)))
    f.write('\n')
f.close()

四、把标准输出定向到文件

import sys
sys.stdout = open('stdout.txt','w')

五,文件的读写

5.1,文件打开

f = file(name[, mode[, buffering]])
name 文件名

mode   选项,字符串

buffering   是否缓冲 (0=不缓冲,1=缓冲, >1的int数=缓冲区大小) 

文件的读写属性

  file对象有自己的属性和方法。先来看看file的属性。(+和b可以和其他的字符组合成mode,例如rb以二进制只读方式打开,mode参数是可选的,如果没有默认为r)

(注意:文件打开之后,应当被及时关闭,可以查看f.closed属性以确认文件是否被关闭)

mode      

function

r

只读模式(默认,文件不存在,则发生异常)文件的指针将会放在文件的开头

w

只写模式(可读,文件不存在则创建,存在则删除内容,再打开文件)

a

追加模式(只能写,文件不存在则创建,存在则追加内容)

r+

可读写模式(可读,可写,可追加),如果文件存在,则覆盖当前文件指针所在位置的字符,如原来文件内容是"Hello,World",打开文件后写入"hi"则文件内容会变成"hillo, World"

b

以二进制方式打开(如:FTP发送上传ISO镜像文件,linux可忽略,windows处理二进制文件时需标注)

w+

先写再读(可读,可写,可追加) 如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。

a+

同a(可读可写,文件不存在则创建,存在则追加内容)。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,创建新文件用于读写。

rb

以二进制读方式打开,只能读文件 , 如果文件不存在,会发生异常

wb

以二进制写方式打开,只能写文件, 如果文件不存在,创建该文件

ab

二进制追写文件。 从文件顶部读取内容 从文件底部添加内容 不存在则创建

rt

以文本读方式打开,只能读文件 , 如果文件不存在,会发生异常

wt

以文本写方式打开,只能读文件 , 如果文件不存在,创建该文件。如果文件存在。先清空,再打开文件

at

以文本读写方式打开,只能读文件 , 如果文件不存在,创建该文件。如果文件存在。先清空,再打开文件

rb+

以二进制读方式打开,可以读、写文件 , 如果文件不存在,会发生异常  

wb+

以二进制写方式打开,可以读、写文件, 如果文件不存在,创建该文件.如果文件存在。先清空,再打开文件

ab+

追读写二进制。从文件顶部读取内容 从文件底部添加内容 不存在则创建

5.2,关闭文件

f.close()

  当文件读写完毕后,应关闭文件

六,清空文件内容

f.truncate()

  注意:仅当以 "r+"   "rb+"    "w"   "wb" "wb+"等以可写模式打开的文件才可以执行该功能

七,文件的指针定位与查询

7.1,文件指针:
      文件被打开后,其对象保存在 f 中, 它会记住文件的当前位置,以便于执行读、写操作,这个位置称为文件的指针( 一个从文件头部开始计算的字节数 long 类型 )。

7.2,文件打开时的位置:

      以"r"   "r+"   "rb+" 读方式, "w"   "w+"   "wb+"写方式 打开的文件,
     一开始,文件指针均指向文件的头部。

7.3,获取文件指针的值:

 L = f.tell()

  
7.4,移动文件的指针

 f.seek(   偏移量, 选项 )


      选项 =0 时, 表示将文件指针指向从文件头部到 "偏移量"字节处。


      选项 =1 时, 表示将文件指针指向从文件的当前位置,向后移动 "偏移量"字节。


      选项 =2 时, 表示将文件指针指向从文件的尾部,,向前移动 "偏移量"字节。

八,从文件读取内容

8.1,文本文件(以"rt"方式打开的文件)的读取  

s = f.readline(     )


        返回值: s 是字符串,从文件中读取的一行,含行结束符。


        说明: (1)  如果 len( s ) =0 表示已到文件尾


                    (2)   如果是文件的最后一行,有可能没有行结束符

8.2,二进制文件(以"rb"、"rb+"、"wb+" 方式打开的文件)的读取  

s = f.read(    n )


     说明: (1)  如果 len( s ) =0 表示已到文件尾


                  (2)   文件读取后,文件的指针向后移动 len(s) 字节。


                (3)如果磁道已坏,会发生异常。

九,向文件写入一个字符串

f.write(    s )


    参数:       s 要写入的字符串


    说明: (1)文件写入后,文件的指针向后移动 len(s) 字节。


                 (2)如果磁道已坏,或磁盘已满会发生异常。


返回值: s 是字符串,从文件中读取的内容

十,删除文件

import os


os.remove(file)

import os
os.remove('s.txt')

3.3 python逐行读取文件内容的两种方法

方法一:

for line in open('f.txt'):
    print(line)

方法二:

f =open('f.txt','r')
lines =f.readlines()
for i in lines:
    print(i)

 3.4文件定位

  tell()方法告诉你文件内的当前位置, 换句话说,下一次的读写会发生在文件开头这么多字节之后。

  seek(offset [,from])方法改变当前文件的位置。Offset变量表示要移动的字节数。From变量指定开始移动字节的参考位置。

  offset -- 偏移量,也就是代表需要移动偏移的字节数,注意是按照字节算的,字符编码存每个字符所占的字节长度不一样。

    如“好好学习” 用gbk存是2个字节一个字,用utf-8就是3个字节,因此以gbk打开时,seek(4) 就把光标切换到了“飞”和“学”两个字中间。
    但如果是utf8,seek(4)会导致,拿到了飞这个字的一部分字节,打印的话会报错,因为处理剩下的文本时发现用utf8处理不了了,因为编码对不上了。少了一个字节。

  如果from被设为0,这意味着将文件的开头作为移动字节的参考位置。

  如果设为1,则使用当前的位置作为参考位置。

  如果它被设为2,那么该文件的末尾将作为参考位置。

例子:

#打开一个文件
f =open('f.txt','r+')
str_read = f.read(10)
print("读取的字符串是:%s" % str_read)

#查找当前位置
position = f.tell()
print("当前位置: %s" %position)

#把指针再次重新定位到文件开头
position =f.seek(0,0)
str_read =f.read(10)
print("重新读取读取的字符串是:%s" % str_read)

#关闭文件
f.close()

结果:
读取的字符串是:2204513940
当前位置: 10
重新读取读取的字符串是:2204513940

3.5 重命名和删除文件

Python的os模块提供了帮你执行文件处理操作的方法,比如重命名和删除文件。

要使用这个模块,你必须先导入它,然后才可以调用相关的各种功能。

rename()方法:

rename()方法需要两个参数,当前的文件名和新文件名。

语法:

os.rename(current_file_name, new_file_name)

例子:

import os
#重命名文件f.txt问哦file.txt
os.rename('f.txt','file.txt')

remove方法

你可以用remove()方法删除文件,需要提供要删除的文件名作为参数。

语法:

os.remove(file_name)

例子:

import os
os.remove('stdout.txt')

3.6 文件修改

  硬盘的存储原理就是,当你把文件存到硬盘上,就在硬盘上划了一块空间,存数据,等你下次打开这个文件,会seek到一个位置,每改一个字,就是把原来的覆盖掉,如果要插入,是不可能的,因为后面的数据在硬盘上不会整体向后移动,所以就会出现当前这个情况,你要插入,却变成把旧内容覆盖掉。

  所以修改文件,就不要在硬盘上修改,把内容全部读到内存里,数据在内存里可以随便增删改查,修改之后,把内容全部写回硬盘,把原来的数据全部覆盖掉。

  当然了,如果有些文件特别大,比如5G,那么一下吃掉这么大内存,非常浪费资源,所以更好的方法就是,如果不像占内存,那么就边读边写,也就是不修改源文件,但是可以打开丢文件的同时,生成一个新文件,边从旧的里面读,边往新的里面写,遇到需要修改的就改了再写道新文件,这样在内存里面一直只存一行内容,就不占内存了,但是也有一个缺点就是,虽然不占内存,但是占硬盘,每次修改,都要生成一份新文件,虽然改完后,可以把旧的覆盖掉,但是在改的过程中,还是有两份数据

 

  3.6.1文件修改占硬盘

代码:

f_name= 'file.txt'
f_new_name = 'file_new.txt'
old_str = '123'
new_str = '123123123'

f = open(f_name,'r',encoding='gbk')
f_new = open(f_new_name,'w',encoding='gbk')

for line in f:
    if old_str in line:
        line = line.replace(old_str,new_str)
    f_new.write(line)
f.close()
f_new.close()

  上面的代码会生成一个修改后的新文件,源文件不动,若想覆盖源文件

代码如下:

 

import os
os.replace(file_new_name,file_name)

  3.6.2文件修改占内存

  这样不需要占用两个文件,只需要写一个文件,直接r+就可以,但是会出现一个问题,就是要是以前文件内容多,现在少了,那会出错,为了避免这种错误的发生,使用truncate()就ok

 userinfo.txt的内容:

1:www.baidu.com
2:www.google.com
3:www.tencent.com
4:www.tianmao.com
5:www.jingdong.com

  

f.truncate([size])
把文件裁成规定的大小,默认的是裁到当前文件操作标记的位置。
如果size比文件的大小还要大,依据系统的不同可能是不改变文件,
也可能是用0把文件补到相应的大小,也可能是以一些随机的内容加上去。
file = open('userinfo.txt','r+',encoding='utf-8')
print('文件名为:',file.name)

line =file.readline()
print('读取第一行:%s' %line)

#截断剩下的字符串
file.truncate()

#尝试再次读取数据
line =file.readline()
print('读取数据:%s' %line)

file.close()

# 结果:
# 文件名为: userinfo.txt
# 读取第一行:1:www.baidu.com
# 
# 读取数据:2:www.google.com

  

 

file = open('userinfo.txt','r+',encoding='utf-8')
print('文件名为:',file.name)

line =file.readline()
print('读取第一行:%s' %line)

#截断10的字符串
file.truncate(10)

#尝试再次读取数据
line =file.readline()
print('读取数据:%s' %line)

file.close()

结果:
文件名为: userinfo.txt
读取第一行:1:www.baid
读取数据:

  

 

四,补充内容

4.1 各种系统操作

  注意:虽然python中提供了各种拼接目录的函数,但是,函数并不能保证字符编码不出问题,很大可能导致程序错误。所以最好还是自己拼接。

   python中对文件、文件夹(文件操作函数)的操作需要涉及到os模块和shutil模块。

得到当前工作目录,即当前Python脚本工作的目录路径: os.getcwd()

返回指定目录下的所有文件和目录名:os.listdir()

函数用来删除一个文件:os.remove()

删除多个目录:os.removedirs(r“c:\python”)

检验给出的路径是否是一个文件:os.path.isfile()

检验给出的路径是否是一个目录:os.path.isdir()

判断是否是绝对路径:os.path.isabs()

检查是否快捷方式os.path.islink ( filename )

检验给出的路径是否真地存:os.path.exists()

返回一个路径的目录名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 结果:('/home/swaroop/byte/code', 'poem.txt')

分离扩展名:os.path.splitext()

获取路径名:os.path.dirname()

获取文件名:os.path.basename()

运行shell命令: os.system()

读取和设置环境变量:os.getenv() 与os.putenv()

给出当前平台使用的行终止符:os.linesep Windows使用'\r\n',Linux使用'\n'而Mac使用'\r'
指示你正在使用的平台:os.name 对于Windows,它是'nt',而对于Linux/Unix用户,它是'posix'
重命名:os.rename(old, new)

创建多级目录:os.makedirs(r“c:\python\test”)

创建单个目录:os.mkdir(“test”)

获取文件属性:os.stat(file)

修改文件权限与时间戳:os.chmod(file)

终止当前进程:os.exit()

获取文件大小:os.path.getsize(filename)

  

4.2 各种目录操作

os.mkdir("file") 创建目录

复制文件:
shutil.copyfile("oldfile","newfile") oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile") oldfile只能是文件夹,newfile可以是文件,也可以是目标目录

复制文件夹:
shutil.copytree("olddir","newdir") olddir和newdir都只能是目录,且newdir必须不存在

重命名文件(目录)
os.rename("oldname","newname") 文件或目录都是使用这条命令

移动文件(目录)
shutil.move("oldpos","newpos") 

删除文件
os.remove("file")

删除目录
os.rmdir("dir")只能删除空目录
shutil.rmtree("dir") 空目录、有内容的目录都可以删

转换目录
os.chdir("path") 换路径
 
ps: 文件操作时,常常配合正则表达式:
img_dir = img_dir.replace('\\','/')

 

五,文件处理习题

  文件操作分为读,写,修改

5.1 读文件

举例如下:

f = open(file=‘userinfo.txt',mode='r',encoding='utf-8')

data = f.read()

f.close()

上述操作语法解释如下:

file=‘userinfo.txt'  表示文件路径
mode='r'                                          表示只读(可以修改为其他)
encoding='utf-8'                                  表示将硬盘上的 0101010 按照utf-8的规则去“断句”,
    再将“断句”后的每一段0101010转换成unicode的 01010101,unicode对照表中有01010101和
    字符的对应关系。
f.read()                                          表示读取所有内容,内容是已经转换完毕的字符串。
f.close()                                         表示关闭文件

  再看一个例子:

f = open(file='userinfo.txt',mode='rb')
data = f.read()
f.close()

上述操作语法解释:

file='userinfo.txt'      表示文件路径
mode='rb'                                            表示只读(可以修改为其他)
f.read()                                             表示读取所有内容,内容是硬盘上原来以某种编码保存010101010,即:某种编码格式的字节类型
f.close()                                            表示关闭文件

  问:两个例子的区别在哪?

  答:在于示例2打开文件时并未指定encoding,这是为何?是因为直接以rb模式打开了文件 ,rb是指二进制模式,数据读到内存里直接是bytes格式,如果想内容,还需要手动decode,因此在文件打开阶段,不需要指定编码

  问:假设你不知道你要处理的文件是什么编码可怎么办?

import chardet

f = open('log',mode='rb')
data = f.read()
f.close()

result = chardet.detect(open('log',mode='rb').read())
print(result)

  输出:

{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

  

注意:

  • 文件操作时,以 “r”或“rb” 模式打开,则只能读,无法写入;
  • 硬盘上保存的文件都是某种编码的0101010,打开时需要注意:
    • rb,直接读取文件保存时原生的0101010,在Python中用字节类型表示
    • r和encoding,读取硬盘的0101010,并按照encoding指定的编码格式进行断句,再将“断句”后的每一段0101010转换成unicode的 010101010101,在Python中用字符串类型表示

 5.2文件操作的其他功能

 def fileno(self, *args, **kwargs): # real signature unknown
        返回文件句柄在内核中的索引值,以后做IO多路复用时可以用到

    def flush(self, *args, **kwargs): # real signature unknown
        把文件从内存buffer里强制刷新到硬盘

    def readable(self, *args, **kwargs): # real signature unknown
        判断是否可读

    def readline(self, *args, **kwargs): # real signature unknown
        只读一行,遇到\r or \n为止

    def seek(self, *args, **kwargs): # real signature unknown
        把操作文件的光标移到指定位置
        *注意seek的长度是按字节算的, 字符编码存每个字符所占的字节长度不一样。
        如“路飞学城” 用gbk存是2个字节一个字,用utf-8就是3个字节,因此以gbk打开时,seek(4) 就把光标切换到了“飞”和“学”两个字中间。
        但如果是utf8,seek(4)会导致,拿到了飞这个字的一部分字节,打印的话会报错,因为处理剩下的文本时发现用utf8处理不了了,因为编码对不上了。少了一个字节

    def seekable(self, *args, **kwargs): # real signature unknown
        判断文件是否可进行seek操作

    def tell(self, *args, **kwargs): # real signature unknown
        返回当前文件操作光标位置 

    def truncate(self, *args, **kwargs): # real signature unknown
        按指定长度截断文件
        *指定长度的话,就从文件开头开始截断指定长度,不指定长度的话,就从当前位置到文件尾部的内容全去掉。

    def writable(self, *args, **kwargs): # real signature unknown
        判断文件是否可写

  

5.3 例题

读文件找到第9个字符,华 ,找到第二行的 实,删除最后一行 写入文件
桃之夭夭,灼灼其华。之子于归,宜其室家。
桃之夭夭,有蕡其实。之子于归,宜其家室。
桃之夭夭,其叶蓁蓁。之子于归,宜其家人。

# 2.读文件找到第9个字符,华 ,找到第二行的 实,删除最后一行 写入文件
# 桃之夭夭,灼灼其华。之子于归,宜其室家。
# 桃之夭夭,有蕡其实。之子于归,宜其家室。
# 桃之夭夭,其叶蓁蓁。之子于归,宜其家人。

f = open('poem.txt', 'r+', encoding='utf-8')
# f.seek(3*8)
# print(f.read(1))
# f.seek(3*28+2)
# print(f.read(1))
data_list = f.readlines()
print(data_list)
data_list.pop()
print(data_list)
f.seek(0)
f.truncate()
f.write(''.join(data_list))

  

5.4 例题:读取一个文件下的所有文件

import  os

def read_image(image_dir):
    photofile_list = os.listdir(image_dir)
    for i in range(len(photofile_list)):
        photo_path = os.path.join(image_dir,photofile_list[i])
        print(photo_path)

 5.5 例题:判定目录是否存在,若不存在即创建

import os
if not os.path.isdir(dir_name):
    os.makedir(dir_name)

  

os.mkdir()创建路径中的最后一级目录,而如果之前的目录不存在并且也需要创建的话,就会报错。

os.makedirs()创建多层目录,如果中间目录都不存在的话,会自动创建。

 5.6 读取文件的行数

import csv
a=open("Train_A_wear.csv","r")
b=len(a.readlines())
print(b)

  

5.7  批量重命名文件名

import os

class BatchRename():
    # 批量重命名文件夹中的图片文件
    def __init__(self):
        self.path_A = '../binary_variable/A'
        self.path_B = '../binary_variable/B'


    def rename(self):
        filelist_A = os.listdir(self.path_A)
        filelist_B = os.listdir(self.path_B)
        total_num_A = len(filelist_A)
        total_num_B = len(filelist_B)
        i = 1
        for item in filelist_A:
            # 初始的图片的格式为jpg格式的,或者png
            if item.endswith('.jpg') or item.endswith('png'):
                src = os.path.join(os.path.abspath(self.path_A), item)
                # 处理后的格式也为jpg格式的,当然这里也可以改成png格式
                dst = os.path.join(os.path.abspath(self.path_A), str(i) + '.jpg')

                try:
                    os.rename(src, dst)
                    i = i + 1
                except:
                    continue

        for item in filelist_B:
            # 初始的图片的格式为jpg格式的,或者png
            if item.endswith('.jpg') or item.endswith('png'):
                src = os.path.join(os.path.abspath(self.path_B), item)
                # 处理后的格式也为jpg格式的,当然这里也可以改成png格式
                dst = os.path.join(os.path.abspath(self.path_B), str(i) + '.jpg')

                try:
                    os.rename(src, dst)
                    i = i + 1
                except:
                    continue

if __name__ == '__main__':
    demo = BatchRename()
    demo.rename()

  

posted @ 2018-02-27 20:44  战争热诚  阅读(3379)  评论(0编辑  收藏  举报