摘要：执行时序图 解释： 在DAGScheduler初始化的时候，即创建了个事件处理器，该事件处理器继承于EventLoop中的所有方法和事件队列。在DAG事件处理器初始化前，需先执行父类EventLoop的构造方法，构造方法内，新建了一个线程 dag-scheduler-event-loop ，该线程专 阅读全文

摘要：1，Kerberos安全认证 (使用角度) 下载&安装 下载地址：https://kerberos.org/dist/kfw/4.1/kfw-4.1-amd64.msi 一路下一步，默认安装位置在 C:\Program Files\MIT\Kerberos\bin 下,可以调整安装路径 配置文件参数 阅读全文

摘要：背景 项目中的Spark程序中需要针对处理的每条数据进行唯一标识，所以使用了Spark 内置的 monotonically_increasing_id() 函数 自动ID生成 monotonically_increasing_id() import static org.apache.spark.s 阅读全文

摘要：1，sparkSQK -jdbc 官方文档 https://spark.apache.org/docs/3.2.1/sql-data-sources-jdbc.html 支持的数据库 DB2 MariaDB MS Sql Oracle PostgreSQL 访问数据库可通过 spark.read() 阅读全文

摘要：一、获取当前时间 1.current_date获取当前日期 2018-04-09 2.current_timestamp/now()获取当前时间 2018-04-09 15:20:49.247 二、从日期时间中提取字段 1.year,month,day/dayofmonth,hour,minute, 阅读全文