Python的过程
Python有数据处理-数据处理涉及的过程有输入和输出以及数据变换和处理这个流程
Python的管理: 已有的内容或状态 ,要达到的状态 以及相应的方式和方法
Python输入和输出
数据输入和输出:
处理方式:
语言本身
第三方库的输入和输出
Python的处理
数据处理:
重复值 缺失值 空值
算法步骤:
相应的步骤
工程化编程
1.编程
异常处理
日志记录
性能监控指标
2.工程化目录
工程化目录
接口调用和调试
3.测试和部署
框架的使用
基本内容的情况
框架的使用
框架的基本情况
处理文件的代码
汇合文件--字典处理
import os
import sys
import json
def get_file(dir_path):
list_json =[]
for root,dirs,files in os.walk(dir_path):
for file in files:
if file.endswith(".json"):
json_path=os.path.join(root,file)
list_json.append(json_path)
return list_json
def get_sig_json(json_file):
mark_labels = { 'rian': 0, 'ar': 0, 'us': 0, 'ruck': 0, 'tion': 0,}
with open(json_file, encoding="utf-8") as f:
data = json.load(f)
tracker_num= 0
for key in data["labels"]:
if key.get("ker_id") is not None:
tracker_num = tracker_num+1
mark_labels[key["type"]] = mark_labels.get(key["type"], 0) + 1
out_id_cnt = sum([v for k,v in mark_labels.items()])
return tracker_num,mark_labels
if __name__ == '__main__':
#input_dir_nm= r"D:\data\lod\2025"
input_dir_nm = sys.argv[1]
json_file_ls = get_file(input_dir_nm)
total_sig = 0
dict_list = []
for js_ord,sig_json_file in enumerate(json_file_ls):
sig_json_total_ele,detail= get_sig_json(sig_json_file)
total_sig = total_sig+sig_json_total_ele
dict_list.append(detail)
# sum the values with same keys
result = {}
for d in dict_list:
for k in d.keys():
result[k] = result.get(k, 0) + int(d[k])
out_value = [{"type":k,"value":v} for k,v in result.items()]
#展示结果
result_deta = (input_dir_nm,str(js_ord+1),str(total_sig))
with open(os.path.join(input_dir_nm, "test.txt"), 'a+', encoding="utf-8") as fo:
fo.write(",".join(result_deta)+" : " )
fo.write( json.dumps(result)+"\n" )