摘要：
把dataframe 一列转成 array 阅读全文
摘要：
Shuffle 工作机制 https://programmersought.com/article/3482377576/ https://www.cnblogs.com/itboys/p/9226479.html shuffle 地址管理 https://zhuanlan.zhihu.com/p/ 阅读全文
摘要：
import spark.implicits._ val simpleData = Seq(("James","Sales","NY",90000,34,10000), ("Michael","Sales","NY",86000,56,20000), ("Robert","Sales","CA",8 阅读全文
摘要：
经常看到OOM，但是不知道什么原因？ 那就学习一下spark内存管理看看到底是怎么管理内存，有什么办法防止OOM，有什么办法调优？ https://0x0fff.com/spark-memory-management/ https://unraveldata.com/common-reasons-s 阅读全文
摘要：
这个文章写的很清楚了 https://zhuanlan.zhihu.com/p/67930839 阅读全文
摘要：
先看了丁哥发的 北交和西南交的两边论文，北交的是传统PID控制方法 导向循迹控制系统，西南交的写的不太清楚 然后看到一个国外大神1个月造自动驾驶汽车的文章 https://medium.com/@maxdeutsch/how-to-build-a-self-driving-car-in-one-mo 阅读全文
摘要：
import org.apache.spark.sql.DataFrame import org.apache.spark.sql.functions._ import org.apache.spark.sql.types._ // Convenience function for turning 阅读全文
摘要：
备用 https://databricks.com/blog/2018/11/30/apache-avro-as-a-built-in-data-source-in-apache-spark-2-4.html https://sparkbyexamples.com/spark/spark-strea 阅读全文
摘要：
入门 Get started developing workflows with Apache Airflow Getting started with Apache Airflow 阅读全文
摘要：
1. timestamp 增加减少一个 time delta df.withColumn("added_hours",col("input_timestamp") + expr("INTERVAL 2 HOURS")) .withColumn("added_minutes",col("input_t 阅读全文