摘要： 由于目前的生产环境 namenode ha都只是配置了一块磁盘，如果磁盘坏了，估计就game over了。所以想着怎样做namenode的元数据容错。后来查阅hdfs的相关配置，发现一个恰好可以解决该问题的配置: <property> <name>dfs.namenode.name.dir</nam 阅读全文

摘要： 由于目前spark的历史服务所在的机器内存不太够，导致spark的hisstory server经常卡死。所以决定将该服务迁移到一台内存稍微多点的机器上，并将historyserver内存由原来的3g调整为8g，下面开始记录一下本次操作过程的步骤，方便以后进行查阅. 我们的生产环境采用的是spark 阅读全文