spark配置(yarn)

spark关联hadoop的环境

[root@node1 conf]# pwd
/opt/app/spark-2.3.1/conf

[root@node1 conf]# vi spark-env.sh 
HADOOP_CONF_DIR=/opt/app/hadoop-2.8.5/etc/hadoop
YARN_CONF_DIR=/opt/app/hadoop-2.8.5/etc/hadoop

yarn接管spark程序

[root@node1 conf]# cd /opt/app/hadoop-2.8.5/etc/hadoop/
[root@node1 hadoop]# vi yarn-site.xml 
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
</property>

 <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>