1.import os
os模块提供很多方法用来处理文件和目录
2.import sys
sys模块提供了一系列运行环境的变量和函数,例如argv变量,argv变量是一个包含命令行参数的列表
3.from minio import Minio
minio是一个对象存储服务,可以用来存储大量的数据,比如图片,视频,文档等
4.from mysqlutil import MySqlUtil
mysqlutil是一个自定义的mysql工具类,用于操作mysql数据库,比如查询,插入,删除等
5.import sys
from pyspark.sql import SparkSession # pyspark是一个用于大规模数据处理的Python API, 它是Apache Spark的一个组件,用于处理大规模数据集的分布式计算框架。
6.import ssl
ssl是一个用于处理ssl证书的Python模块,它提供了一种简单的方式来处理ssl证书,它支持https协议,可以用于发送https请求,获取https响应,验证ssl证书,ssl证书是用于加密数据传输的一种证书,用于保护数据的安全,防止数据被窃取。
7.import urllib.request
urllib是一个用于从URL中获取数据的Python模块,它提供了一个简单的接口,用于从URL中检索数据,它可以用于访问网络资源,如网页,图片,音频,视频等,它支持HTTP,HTTPS,FTP等协议,它可以用于从URL中下载文件,也可以用于从URL中获取数据。
8.import json
json是一个用于处理json数据的Python模块,它提供了一种简单的方式来解析和生成json数据。
9.from py4j.java_gateway import JavaGateway, java_import
py4j是一个用于在Python和Java之间进行通信的Python模块,它提供了一个简单的方式来在Python和Java之间进行通信。