hadoop面试题

1、hadoop2.x版本和hadoop3.x版本hdfs高可用有什么区别？

2版本namenode只有两台，3版本namenode可以有很多台，JournalNode同节点的数据

hdfs非高可用是secondarynamenode同步元数据

 

2、on yarn模式下spark集群规模是多少？

一般设置2至三台客户端

 

3、yarn上任务跑满了，机器变得非常卡怎么办？

yarn.nodemanager.resource.memory-mb配置，根据服务器内存大小分配小部分内存给linux系统，所以不会卡。

生产环境：128G 32核 。分配108G给yarn，linux系统预留20G。物理核虚拟化1：2。

 

4、