摘要：
XML与JSON的互相转化详见：XML模块 https://www.cnblogs.com/shengyang17/p/8606223.html event.xml <?xml version="1.0" encoding="utf-8" standalone="yes"?> <Events> <E 阅读全文
摘要：
1. Spark数据倾斜问题 Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题。 例如，reduce点一共要处理100万条数据，第一个和第二个task分别被分配到了1万条数据，计算5分钟内完成，第三个 阅读全文
摘要：
1. 常规性能调优 一：最优资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 --driver-memory 配置Driver内存（影响不大） 内存大小影响不大 资 阅读全文