摘要：
import spark.implicits._ val simpleData = Seq(("James","Sales","NY",90000,34,10000), ("Michael","Sales","NY",86000,56,20000), ("Robert","Sales","CA",8 阅读全文
摘要：
经常看到OOM，但是不知道什么原因？ 那就学习一下spark内存管理看看到底是怎么管理内存，有什么办法防止OOM，有什么办法调优？ https://0x0fff.com/spark-memory-management/ https://unraveldata.com/common-reasons-s 阅读全文
摘要：
这个文章写的很清楚了 https://zhuanlan.zhihu.com/p/67930839 阅读全文
摘要：
先看了丁哥发的 北交和西南交的两边论文，北交的是传统PID控制方法 导向循迹控制系统，西南交的写的不太清楚 然后看到一个国外大神1个月造自动驾驶汽车的文章 https://medium.com/@maxdeutsch/how-to-build-a-self-driving-car-in-one-mo 阅读全文
摘要：
import org.apache.spark.sql.DataFrame import org.apache.spark.sql.functions._ import org.apache.spark.sql.types._ // Convenience function for turning 阅读全文
摘要：
备用 https://databricks.com/blog/2018/11/30/apache-avro-as-a-built-in-data-source-in-apache-spark-2-4.html https://sparkbyexamples.com/spark/spark-strea 阅读全文
摘要：
入门 Get started developing workflows with Apache Airflow Getting started with Apache Airflow 阅读全文
摘要：
1. timestamp 增加减少一个 time delta df.withColumn("added_hours",col("input_timestamp") + expr("INTERVAL 2 HOURS")) .withColumn("added_minutes",col("input_t 阅读全文
摘要：
自己总结的： nvidia-docker, 不支持windows,2019.10, nvidia-docker过时了，从docker 1903开始，安装一个nvidia-container-runtime就行了， --gpus2020.12, docker 好像可以直接在wsl2里面跑了, 需要wi 阅读全文
摘要：
1. 笨办法 pandas Dataframe 可以很容易做时序数据的 resample，按照一定的frequency 聚合数据. 但是spark 中因为没有顺序的概念就不太好做，下面是怎么在spark中做resample 的例子. def resample(column, agg_interval 阅读全文