望穿秋水
管理&技术&业务 项目管理方面:加强通过工具辅助管理,构建Web项目管理系统来协助项目管理。技术开发方面:加强系统分析能力、架构设计能力,时刻把握新技术动态。业务方面:加强需求分析能力,使最终需求来源于客户又高于客户。

Kylin Build执行到底17步时报错:17 Step Name: Build Cube In-Mem  ,错误截图如下:

 

点左下角的MRJob图标,打开查看错误信息:

从MRJob中的描述中可见详细的错误信息:

The required MAP capability is more than the supported max container capability in the cluster. Killing the Job. mapResourceRequest: <memory:3072, vCores:1> maxContainerCapability:<memory:1024, vCores:2>
Job received Kill while in RUNNING state.

说的很明确,需要的内存量是3072,但是最大能提供的内存量只有1024,这两个值改那个都可以,只要能匹配上就行。

问题排查:

从kylin的配置目录中找到kylin_job_conf_inmem.xml(路径:/usr/local/apps/kylin/conf/)

发现这个map的内存最大请求为3072,和上面MRJob中的报错信息一致,把这个最大请求改成1024即可。

 

 

 <!--Additional config for in-mem cubing, giving mapper more memory -->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
        <description></description>
    </property>

改成1024,重新Build,Success!

 

posted on 2019-06-03 11:15  望穿秋水  阅读(945)  评论(0编辑  收藏  举报