展开
拓展 关闭
订阅号推广码
GitHub
视频
公告栏 关闭

使用sqoop一直卡在:mapreduce.Job: Running job: job_1703173956074_0001

  • 修改hadoop配置
vi /usr/local/software/hadoop-2.9.2/etc/hadoop/yarn-site.xml
# 添加如下
<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
</configuration>
  • 检查配置是否正确
vi /usr/local/software/hadoop-2.9.2/etc/hadoop/yarn-site.xml
# 将mapreduce\_shuffle改为mapreduce_shuffle
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce\_shuffle</value>
</property>
</configuration>
  • VMware中修改内存大小,改大一点,改为4GB
posted @   DogLeftover  阅读(171)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
点击右上角即可分享
微信分享提示