07 2021 档案
摘要：日志是跟踪软件运行时所发生的事件的一种方法。软件开发者在代码中调用日志函数，表明发生了特定的事件。事件由描述性消息描述，该描述性消息可以可选地包含可变数据（即，对于事件的每次出现都潜在地不同的数据）。事件还具有开发者归因于事件的重要性；重要性也可以称为级别或严重性。 logging提供了一组便利的函
阅读全文
摘要：需求：app 中的get_name.py 需要导入utils 中的parse.py 做法： get_name.py 中：将import_paceage 加入到python 环境变量中 import os import sys base_path = os.path.dirname(os.path.d
阅读全文
摘要：DataFrame 类似于传统数据库中的二维表格。DataFrame 也是懒执行的，但性能上比 RDD 要高，主要原因：优化的执行计划，即查询计划通过 Spark catalyst optimiser 进行优化。 DataSet DataSet 是分布式数据集合。DataSet 是 DataFram
阅读全文
