Loading

python基础3--文件操作及日志模块

一、文件操作

1. 文件基本操作

obj = open('路径',mode='模式',encoding='编码')   #  打开文件
obj.write()    #  把内容写入文件
obj.read()     #  读取文件内容
obj.close()    #  关闭文件(保存文件,把内存上的数据写入到文件上-->硬盘上,01010101存储的)

# 3步:1.打开文件.  2. 操作文件   3. 关闭文件

采用上下文管理，不需要关闭文件

with open('文件路径',mode = 'r',encoding = 'utf-8') as file:

with open('文件路径',mode = 'r',encoding = 'utf-8') as f1 ,open('文件路径',mode = 'r',encoding = 'utf-8') as f2 :

2. 打开文件的模式(mode)

1、r / w / a 只读只写字符串
  1. 读取：r，只能读文件,默认的模式.文件不存在就报错.
  2. 写入：w，只能写文件，文件不存在则创建，文件存在则清空内容再写入. .
  3. 追加：a，只能追加,文件不存在则创建，文件存在则不会覆盖，写内容会以追加的方式写 (写日志文件的时候常用 ).
2、r+ / w+ / a+ 可读可写字符串
  1. 可读可写：r+
    • 读：默认从0的光标开始读，也可以通过 seek 函数调整光标的为位置
    • 写：从光标所在的位置开始写，也可以通过 seek 调整光标的位置
  2. 可读可写：w+
    • 读：默认光标永远在写入的最后，也可以通过 seek 函数调整光标的位置
    • 写：先清空
  3. 可读可写：a+
    • 读：默认光标在最后，也可以通过 seek 函数 调整光标的位置。然后再去读取
    • 写：永远写到最后
3、rb / wb / ab 只读只写二进制
file = open('文件路径',mode = 'wb')  # rb/wb/ab模式,不需要encoding = 'utf-8'
  #注意,如果是/rb/ab/wb模式,写入和读取的必须是二进制,即010100010 010110101 0101000,否则报错.写入数据是
data = '你好,世界'.encode('utf-8')    #将字符串转化为utf-8编码方式的二进制数据.
file.write(data)
file.close()

r+b / w+b / a+b 可读可写二进制 , r+b/w+b/a+b模式同上.

3. 操作方法

  • read() , 全部读到内存

  • read(1)

    • 1表示一个字符

      obj = open('a.txt',mode='r',encoding='utf-8')
data = obj.read(1) # 1个字符
obj.close()
print(data)

    • 1表示一个字节

      obj = open('a.txt',mode='rb')
data = obj.read(3) # 1个字节
obj.close()

  • readlines()

    date_list = file.readlines() #  读取整个文件所有行，保存在一个列表(list)变量中，每行作为一个元素，但读取大文件会比较占内存.

  • write(字符串)

    obj = open('a.txt',mode='w',encoding='utf-8')
obj.write('中午你')
obj.close()

  • write(二进制)

    obj = open('a.txt',mode='wb')

# obj.write('中午你'.encode('utf-8'))
v = '中午你'.encode('utf-8')
obj.write(v)

obj.close()

  • seek(光标字节位置)，无论模式是否带b，都是按照字节进行处理。

    obj = open('a.txt',mode='r',encoding='utf-8')
obj.seek(3) # 跳转到指定字节位置
data = obj.read()
obj.close()

print(data)

obj = open('a.txt',mode='rb')
obj.seek(3) # 跳转到指定字节位置
data = obj.read()
obj.close()

print(data)
fileObject.seek(offset[, whence])
#  offset -- 开始的偏移量，也就是代表需要移动偏移的字节数.以字节为单位.
#  whence：可选，默认值为 0。给offset参数一个定义，表示要从哪个位置开始偏移；0代表从文件开头开始算起，1代表从当前位置开始算起，2代表从文件末尾算起。如seek(0,0)

  • tell(), 获取光标当前所在的字节位置

    obj = open('a.txt',mode='rb')
# obj.seek(3) # 跳转到指定字节位置
obj.read()
data = obj.tell()
print(data)
obj.close()

  • flush，强制将内存中的数据写入到硬盘

    v = open('a.txt',mode='a',encoding='utf-8')
while True:
    val = input('请输入：')
    v.write(val)
    v.flush()

v.close()

4. 文件内容的修改

  with open('a.txt',mode='r',encoding='utf-8') as f1:
      data = f1.read()
  new_data = data.replace('飞洒','666')
  
  with open('a.txt',mode='w',encoding='utf-8') as f1:
      data = f1.write(new_data)

大文件修改

  f1 = open('a.txt',mode='r',encoding='utf-8')
  f2 = open('b.txt',mode='w',encoding='utf-8')
  
  for line in f1:
      new_line = line.replace('阿斯','死啊')
      f2.write(new_line)
  f1.close()
  f2.close()

二、 日志模块

两种不同方式对比
1.logging.basicconfig
        # 使用方便
        # 不能实现 编码问题；不能同时向文件和屏幕上输出
        # logging.debug,logging.warning
2.logger对象
        # 复杂
            # 创建一个logger对象
            # 创建一个文件操作符
            # 创建一个屏幕操作符
            # 创建一个格式

            # 给logger对象绑定 文件操作符
            # 给logger对象绑定 屏幕操作符
            # 给文件操作符 设定格式
            # 给屏幕操作符 设定格式
            # 用logger对象来操作

import logging

logger = logging.getLogger()
fh = logging.FileHandler('log.log')
sh = logging.StreamHandler()
logger.addHandler(fh)
logger.addHandler(sh)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
fh.setFormatter(formatter)
sh.setFormatter(formatter)
logger.warning('message')

1. 函数式简单配置

默认情况下Python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG），默认的日志格式为日志级别：Logger名称：用户输出消息。

  1. 灵活配置日志级别，日志格式，输出位置:
import logging
logging.basicConfig(level=logging.DEBUG,
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                    datefmt='%a, %d %b %Y %H:%M:%S',
                    filename='/tmp/test.log',
                    filemode='w')

logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')
  1. 配置参数：
logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有：

filename：用指定的文件名创建FiledHandler，这样日志会被存储在指定的文件中。
filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。
format：指定handler使用的日志显示格式。
datefmt：指定日期时间格式。
level：设置rootlogger（后边会讲解具体概念）的日志级别
stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。

format参数中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息

2. logger对象配置

import logging

logger = logging.getLogger()
# 创建一个handler，用于写入日志文件
fh = logging.FileHandler('test.log',encoding='utf-8')

# 再创建一个handler，用于输出到控制台
ch = logging.StreamHandler()
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
fh.setLevel(logging.DEBUG)

fh.setFormatter(formatter)
ch.setFormatter(formatter)
logger.addHandler(fh) #logger对象可以添加多个fh和ch对象
logger.addHandler(ch)

logger.debug('logger debug message')
logger.info('logger info message')
logger.warning('logger warning message')
logger.error('logger error message')
logger.critical('logger critical message')

logging库提供了多个组件：Logger、Handler、Filter、Formatter。

  • Logger对象提供应用程序可直接使用的接口
  • Handler发送日志到适当的目的地
  • Filter提供了过滤日志信息的方法
  • Formatter指定日志显示格式

另外，可以通过：logger.setLevel(logging.Debug)设置级别,当然，也可以通过：fh.setLevel(logging.Debug)单对文件流设置某个级别。

推荐处理日志方式 + 日志分割

import time
import logging
from logging import handlers
# file_handler = logging.FileHandler(filename='x1.log', mode='a', encoding='utf-8',)
file_handler = handlers.TimedRotatingFileHandler(filename='x3.log', when='s', interval=5, encoding='utf-8')
logging.basicConfig(
    format='%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',
    datefmt='%Y-%m-%d %H:%M:%S %p',
    handlers=[file_handler,],
    level=logging.ERROR
)

for i in range(1,100000):
    time.sleep(1)
    logging.error(str(i))

# 在应用日志时，如果想要保留异常的堆栈信息。
import logging
import requests

logging.basicConfig(
    filename='wf.log',
    format='%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',
    datefmt='%Y-%m-%d %H:%M:%S %p',
    level=logging.ERROR
)

try:
    requests.get('http://www.xxx.com')
except Exception as e:
    msg = str(e) # 调用e.__str__方法
    logging.error(msg,exc_info=True)
posted @ 2019-03-31 22:22  陌路麒麟  阅读(197)  评论(0)  编辑  收藏  举报