摘要：
Variety structured data applications include Amazon RDS, Amazon Aurora, MySQL, MariaDB, PostgreSQL, Microsoft SQL Server, and Oracle semistructured da 阅读全文
摘要：
Intro process 就是 The process component is where services manipulate data into needed forms. 比如补齐 null value, make data more consumable. analyze 比如排序、聚 阅读全文
摘要：
finalDF.withColumn("NEW_COLUMN", max("start_date").over()).show() Ref: https://stackoverflow.com/questions/59199685/create-a-new-column-with-max-value 阅读全文
摘要：
AWS Security 方案和功能 Amazon Inspector AWS Shield Price and Support Free Tier: Always Free, 12-month free（从注册AWS账号算起）, trialssome Free Tier services: Sag 阅读全文
摘要：
默认的accumulator 只是最简单的 int/float 有时候我需要一个map来作为accumulator 这样，就可以处理 <string, int>类型的计数了. 此外我还需要这个map 的key 可以在超出一定时间后自动删除，类似于 Redis 的 expiry, 然后还要知道expi 阅读全文
摘要：
https://code.visualstudio.com/docs/cpp/cmake-linux https://code.visualstudio.com/docs/cpp/config-mingw 阅读全文
摘要：
driver报下面错，同时报在我自己写的代码 collect 部分. top user 不报错，top file报错，我猜是因为file 比user多得多 20/08/24 08:37:15 ERROR MicroBatchExecution: Query [id = de341482-5e75-4 阅读全文
摘要：
partitionBy 调优 https://mungingdata.com/apache-spark/partitionby/ http://tantusdata.com/spark-shuffle-case-1-partition-by-and-repartition/ Join 调优 http 阅读全文
摘要：
把dataframe 一列转成 array 阅读全文
摘要：
Shuffle 工作机制 https://programmersought.com/article/3482377576/ https://www.cnblogs.com/itboys/p/9226479.html shuffle 地址管理 https://zhuanlan.zhihu.com/p/ 阅读全文