2023年8月13日
深入MapReduce计算引擎
摘要： # 深入MapReduce计算引擎 ## MapReduce整体处理过程 ![](https://img2023.cnblogs.com/blog/3161112/202308/3161112-20230813205113302-330335299.png) MapReduce的运行需要经过inpu 阅读全文
posted @ 2023-08-13 20:53 nangk 阅读(38) 评论(0) 推荐(0) 编辑
问题排查Hive本地计算模式失败
摘要： # 问题排查Hive本地计算模式失败 ==查看hive.log后发现是**java space heap**，也就是java内存溢出。== ### 解决方案： 1. 配置yarn集群的资源分配。 - 由于是本地计算，因此container一定是申请在本地的，限制AM申请container容器资源的大 阅读全文
posted @ 2023-08-13 20:25 nangk 阅读(57) 评论(0) 推荐(0) 编辑
问题排查org
摘要： # 问题排查org.apache.hadoop.ipc.Client > 背景是在三台云服务器上部署Hadoop集群，当提交job到yarn上执行时，一直处在map阶段，记录一下排查问题的过程。 ![](https://img2023.cnblogs.com/blog/3161112/202308/ 阅读全文
posted @ 2023-08-13 09:56 nangk 阅读(26) 评论(0) 推荐(0) 编辑