摘要：
正常的SPARK SQL执行会先经过SQL Parser解析SQL，然后经过Catalyst优化器处理，最后到spark执行，其中包括以下几个重要的部分： SQL Parse：sql解析器将sql解析为抽象语法树，即Unresolved Logical Plan Analysis：利用Catalog 阅读全文
摘要：
1）sc.textFile读取小文件时，调用的时hadoopFile，使用的是textInputFormat，除了使用sc.wholeTextFiles还可以自定义CombineFileInputFormat // sc.textFile调用的是 sc.hadoopFile，但是InputForma 阅读全文