摘要：
1.画出你们的大数据架构，然后针对架构提问，如何做到精准一次、小文件规避等2.为什么会产生小文件3.为什么Hadoop不怕数据量大，却怕文件小4.你能告诉我路径占不占元数据内存，如果占，占多少5.小文件会产生什么样的问题，产生的问题会对你们的集群产生什么样的影响6.画出Yarn工程流程7.mr和sp 阅读全文
摘要：
第二阶段总结1.你们使用的spark运行模式，Spark On Yarn 的工作流程，client和cluster的区别（driver再哪里）2.Spark用的版本？Spark内存管理，画出来，然后给一个案例，excutor要申请300M内存的过程。新版是跑不起来的原来是1.63.直接看面试官电脑上 阅读全文
摘要：
checkpoint原理机制 当RDD使用cache机制从内存中读取数据，如果数据没有读到，会使用checkpoint机制读取数据。此时如果没有checkpoint机制，那么就需要找到父RDD重新计算数据了，因此checkpoint是个很重要的的容错机制。checkpoint就是对于一个RDDcha 阅读全文