数据开发_Python核心内容概览_开发流程

Python的过程

Python有数据处理-数据处理涉及的过程有输入和输出以及数据变换和处理这个流程
Python的管理： 已有的内容或状态 ，要达到的状态 以及相应的方式和方法

Python输入和输出

 数据输入和输出：
  处理方式：
     语言本身
     第三方库的输入和输出

Python的处理

  数据处理：
     重复值  缺失值  空值 
  算法步骤：
      相应的步骤

工程化编程

 1.编程
     异常处理
     日志记录
     性能监控指标
  2.工程化目录
     工程化目录
     接口调用和调试
  3.测试和部署

框架的使用

基本内容的情况
框架的使用
   框架的基本情况

处理文件的代码

汇合文件--字典处理

import os
import sys
import json


def get_file(dir_path):
    list_json =[]
    for root,dirs,files in os.walk(dir_path):
        for file in files:
            if file.endswith(".json"):
                json_path=os.path.join(root,file)
                list_json.append(json_path)
    return list_json

def get_sig_json(json_file):
    mark_labels = { 'rian': 0,  'ar': 0,  'us': 0, 'ruck': 0, 'tion': 0,}
    with open(json_file, encoding="utf-8") as f:
        data = json.load(f)
        tracker_num= 0
        for key in data["labels"]:
            if  key.get("ker_id") is not None:
                tracker_num = tracker_num+1
            mark_labels[key["type"]] = mark_labels.get(key["type"], 0) + 1
        out_id_cnt = sum([v for k,v in mark_labels.items()])
        return  tracker_num,mark_labels


if __name__ == '__main__':
    #input_dir_nm= r"D:\data\lod\2025"
    input_dir_nm = sys.argv[1]
    json_file_ls = get_file(input_dir_nm)
    total_sig = 0
    dict_list = []
    for js_ord,sig_json_file in enumerate(json_file_ls):
        sig_json_total_ele,detail= get_sig_json(sig_json_file)
        total_sig = total_sig+sig_json_total_ele
        dict_list.append(detail)
    # sum the values with same keys
    result = {}
    for d in dict_list:
        for k in d.keys():
             result[k] = result.get(k, 0) + int(d[k])
    out_value = [{"type":k,"value":v} for k,v in result.items()]
    #展示结果
    result_deta = (input_dir_nm,str(js_ord+1),str(total_sig))
    with open(os.path.join(input_dir_nm, "test.txt"), 'a+', encoding="utf-8") as fo:
        fo.write(",".join(result_deta)+" : "  )
        fo.write(  json.dumps(result)+"\n" )