知名*厂如何搭建*数据平台&架构
摘要：今天我们来看一下淘宝、美团和滴滴的*数据平台，一方面进一步学**厂*数据平台的架构，另一方面也学**厂的工程师如何画架构图。通过*厂的这些架构图，你就会发现，不但这些知名*厂的*数据平台设计方案*同小异，架构图的画法也有套路可以寻觅。 淘宝*数据平台 淘宝可能是中国互联网业界较早搭建了自己*数据平台
阅读全文
posted @ 2019-09-30 11:51
09 2019 档案
Spark开发常用参数
摘要：Driver spark.driver.cores driver端分配的核数，默认为1，thriftserver是启动thriftserver服务的机器，资源充足的话可以尽量给多。 spark.driver.memory driver端分配的内存数，默认为1g，同上。 spark.driver.ma
阅读全文
posted @ 2019-09-27 13:08
解决spark dataframe get 报空指针异常 java.lang.NullPointerException
摘要：Spark 编程读取hive，hbase, 文本等外部数据生成dataframe后，一般我们都会map遍历get数据的每个字段,此时如果原始数据为null时，如果不进行判断直接转化为string，就会报空指针异常 java.lang.NullPointerException 示例代码如下： shel
阅读全文
posted @ 2019-09-20 18:38
