2022 年 8月 19 日随笔档案 - jsqup

2022年8月19日

摘要： 1. 本地 spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /opt/app/spark-2.3.1/examples/jars/spark-examples_2.11-2.3.1.jar 100 2. 阅读全文

posted @ 2022-08-19 16:44 jsqup 阅读(8) 评论(0) 推荐(0) 编辑

spark配置(yarn)

摘要： spark关联hadoop的环境 [root@node1 conf]# pwd /opt/app/spark-2.3.1/conf [root@node1 conf]# vi spark-env.sh HADOOP_CONF_DIR=/opt/app/hadoop-2.8.5/etc/hadoop 阅读全文

posted @ 2022-08-19 12:12 jsqup 阅读(33) 评论(0) 推荐(0) 编辑

访问端口总结

摘要： ||启动方式|访问端口| |--|--|--| |HDFS|start-dfs.sh|NameNode(9000 API操作；50070 web访问端口)| |||DataNode(50010 dn和nn通信的端口；50075(datanode的web访问端口)| |||snn(50090 snn的阅读全文

posted @ 2022-08-19 12:06 jsqup 阅读(49) 评论(0) 推荐(0) 编辑

spark历史服务器配置

摘要： [root@node1 conf]# pwd /opt/app/spark-2.3.1/conf [root@node1 conf]# mv spark-defaults.conf.template spark-defaults.conf [root@node1 conf]# vi spark-de 阅读全文

posted @ 2022-08-19 11:38 jsqup 阅读(42) 评论(0) 推荐(0) 编辑

spark伪分布式搭建(standlone)

摘要： spark伪分布式搭建 # 配置环境 [root@node1 spark-2.3.1]# vi /etc/profile { export SPARK_HOME=/opt/app/spark-2.3.1 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sb 阅读全文

posted @ 2022-08-19 11:13 jsqup 阅读(61) 评论(0) 推荐(0) 编辑

jsqup

公告