python3学习（四）-- json处理、文件处理

####################处理json#########################

# json 一种通用的数据类型，所有的语言都认识
# 很像字典，都是花括号，k-v，但是json是字符串，不能通过k-v来取值
# json转成字典
# http://www.bejson.com/ 可以在该网址中校验json格式对不对
# json串就是字符串，多行字符串的定义用三个引号，json中的k-v对，只能用双引号。
# json.dumps()用于将dict类型的数据转成str。
# json.dump()用于将dict类型的数据转成str，并写入到json文件中。
# json.loads()用于将str类型的数据转成dict。
# json.load()用于从json文件中读取数据。
# .dumps .loads 方法 带s都是和字符串相关的，不带s的都是和文件相关的

import json

res = json.loads(s)  #json串（字符串）转换为字典
print(res)
print(type(res))
for k,v in res.items():
    print(k,'--->',v)
print(res.keys())
print(res.values())
print(type(res))

print(type(s))

stus = {'哈哈哈': '1234567', 'xiaojun': '123456', 'xiaohei': '123456789', 'tanailing': '12345678'}
res2 = json.dumps(stus,indent=4,ensure_ascii=False)
print(res2)  #打印后可以发现，变成字典之后，变成双引号

with open('stus.json','w',encoding='utf-8') as f:
    f.write(res2)
print(type(res2))

f = open('stus.json', encoding='utf-8')  # 打开文件，将文件转成字典，要read
content = f.read()
user_dic = json.loads(content)  # 传的是字符串
print(user_dic)

f = open('stus.json', encoding='utf-8')  # 打开文件，不需要read，只需要传文件f
user_dic = json.load(f)  # 传的是文件对象
print(user_dic)

print(type(stus))
f = open('stus2.json', 'w', encoding='utf-8')
json.dump(stus, f, indent=4, ensure_ascii=False)  # 用dump不需要read

####################文件读写#########################

#r 只读,打开文件不存在的话，会报错
#w 只写，会清空原文本中的内容。打开文件不存在时，新建一个文件
#a 追加写，写、读，不清空原文本中的内容。打开文件不存在时，新建一个文件

#r 读 ，区分read和readlines
f = open('user.txt')   #python3  #file('a.txt') #python2中的方法
#print('read:', f.read())            #获取到文件中的所有内容，把所有内容读完，在此读就没了，所以read和readlines都运行，只读第一次
#print('readlines:',f.readlines())    #获取到文件中的所有内容,保存到一个list里面
print('read:',f.read())         #读取所有的行
print('readline:',f.readline())         #每次只读取一行

#w  写  ，写字符串用write,写list用writelines比较高效
#f.write('')#只能写字符串
f = open('user.txt','a+')
a = ['user1,123\n','user2,123\n','user3,123\n']
f.writelines(a) #可以写一个list

#r+  读写模式，打开不存在的文件会报错
#w+  写读模式，会清空内容
#a+  追加模式 ,不存在该文件时会创建
#r+和w+分别试一下能不能读写，r+打开不存在的文件是否会报错
f = open('user.txt','a+',encoding='utf-8')
print('1',f.readlines())

#二进制方式打开，后面加个b。例如rb,wb,ab+
#python 上传文件，用‘rb’
res = open('333.jpg','rb')
print(res.read())

####################修改文件内容#########################

# 1、简单、粗暴直接的方式
f = open(r'C:\Users\Administrator\PycharmProjects\Day4\file.txt',encoding='utf-8')  #路径前面加r,代表是路径，避免产生转义字符
res = f.read().replace('一点','二点')
f.close()
f = open(r'C:\Users\Administrator\PycharmProjects\Day4\file.txt',mode = 'w',encoding='utf-8')
f.write(res)
f.flush()   #立即把缓冲区里面的内容写到磁盘
f.close()

#2、
import sys
f = open('file.txt','a+',encoding='utf-8')
f.seek(0)
res = f.read().replace('UUUUUUUUU', '你')
f.seek(0)
f.truncate() #清空文件里面的内容
f.write(res)
f.close()
#缓冲区为0

#3、
import os
f = open('file.txt',encoding='utf-8')
f2 = open('file.txt.bak','w',encoding='utf-8')
for line in f:
    new_line = line.replace('你','YOU')
    f2.write(new_line)
f.close()
f2.close()
os.remove('file.txt')
os.rename('file.txt.bak','file.txt')

#4、用with就不用关闭文件,自动关闭
#同时打开多个文件
import os
with open('file.txt',encoding='utf-8') as f,open('file.txt.bak','w',encoding='utf-8') as f2:
    for line in f:
        new_line = line.replace('二点','一点')
        f2.write(new_line)
os.remove('file.txt')
os.rename('file.txt.bak','file.txt')

####################高效处理文件#########################

f = open('user2.txt',encoding = 'utf-8')
# 文件对象、文件句柄-->都是打开一个文件

# 第一种方式，整个过程只有一个变量，节省内存
while True:
    line = f.readline()
    if line != '':
        print('line:',line)
    else:
        print('文件内容都读完了，结束了')
        break

#第二种方式，两行代码就等于第一种方式的效果，读到文件中的全部内容
#直接循环文件的对象，等于取得文件中每一行的内容
for line in f:
    print(line)

例子：

###########监控日志排查是否存在攻击的ip，若有，则屏蔽该ip#########
#1、要从日志里面找到1分钟之内访问超过200次的
#2、每分钟都运行一次

#1、读取文件，获取到ip地址
#2、把每个ip地址存起来[]？{}。用字典好，ip做k,次数做v
#3、判断ip访问的次数是否超过200次
#4、找到ip,打印出来
#list   ['118.24.4.30','118.24.4.30','118.24.1xx.x.xx','118.1x.x.x'] #可以实现，但是不好，因为ip越多，文件越大，且要循环list
dict
{
    '118.24.4.30':2,
    '118.24.4.30':5
}
import time

point = 0 #初始位置
while True:
    ips = {}  # 定义空字典
    f = open('access.log',encoding='utf-8')
    f.seek(point)  #读完之后记录位置
    for line in f:   #循环取文件里面的每行数据
        ip = line.split()[0]   #按照空格分割，去第一个元素就是ip。按照空格分，括号中就直接放空就好
        if ip in ips:   #判断这个ip是否存在
           #ips[ip] = ips[ip] + 1
           ips[ip]+=1  #如果存在的话就+1
        else:
            ips[ip] = 1  #如果不存在，ip当成k,1当成v，存入字典
    point = f.tell()  #记录文件指针位置
    f.close()  #记录完指针后就关闭
    for ip,count in ips.items():  #item循环字典，判断次数大于200的。
        if count >= 200:
            print('%s, 加入黑名单'%(ip))
    time.sleep(60)