随笔分类 - Python
记录自己平时工作中遇到的问题
Python中的数据集包含哪些？
摘要：1.set()集合 格式：{元素1，元素2，元素3}，元素之间用逗号分隔，每个元素的类型可以不一样，比如{1,2,3},{'a','b','c'},{'a',1,'b',2} set集合是无序的，里面的元素不可重复 2.list集合(列表) 格式：[元素1，元素2，元素3], 元素可以是任何类型，比
阅读全文
Python中常用模块有哪些？
摘要：1.import os os模块提供很多方法用来处理文件和目录 2.import sys sys模块提供了一系列运行环境的变量和函数，例如argv变量，argv变量是一个包含命令行参数的列表 3.from minio import Minio minio是一个对象存储服务，可以用来存储大量的数据，比
阅读全文
数据文件和元数据文件的区别？
摘要：元数据文件是指描述数据的数据，比如数据的格式，数据的大小，数据的类型等。 数据文件是指存储数据的文件，比如图片，视频，文档等，它是一个二进制文件。 例如： metadata.json是元数据文件，是一个json格式的文件，json格式是一种轻量级的数据交换格式，易于阅读和编写，易于机器解析和生成。
阅读全文
Python中for循环的使用例子
摘要：my_dict是一个列表，列表中包含了两个字典，for循环遍历每一个字典，get方法是字典的小助手，可以将字典中key对应的value打印出来。 code: my_dict = [{"name": "ZhangSan", "age": "10", "city": "Chengdu"},{"name"
阅读全文
Python中Spark读取parquet文件并获取schema的JSON表示
摘要：步骤： 初始化SparkSession。 使用spark.read.parquet()读取Parquet文件。 调用df.schema.json()获取schema的JSON表示。 from pyspark.sql import SparkSession # 初始化SparkSession spar
阅读全文
Python中json.loads的使用
摘要：可以将一个JSON编码的字符串转换回一个Python数据结构。 这个方法接受一个JSON字符串作为参数，并返回一个对应的Python对象。 这个Python对象可以是一个字典、一个列表、一个字符串、一个数字、一个布尔值或者一个None。 # 将 JSON 对象转换为 Python 字典 json_s
阅读全文
Python中怎么使用Spark的spark.read.format()函数读取MySQL数据库中的数据
摘要：1. 准备工作： 安装pyspark库（pip install pyspark） 2. 代码： # 导入模块from pyspark.sql import SparkSession# 创建Spark会话对象 spark = SparkSession.builder \ .appName("Read
阅读全文
Python中字典setdefault()方法和append()的配合使用
摘要：1.setdefault()方法语法 dict.setdefault(key, default=None) 说明：如果字典中包含给定的键值，那么返回该键对应的值。否则，则返回给定的默认值。 Syntax: dict.setdefault(key, default_value) Parameters:
阅读全文
