Linux 查询隐藏端口号
摘要：[hadoop@ruozedata ~]$ netstat -tapn
阅读全文
posted @
2021-04-21 21:11
吹静静
阅读(397)
推荐(0) 编辑
Spark修改spark-shell启动LOGO
摘要：修改源码：package org.apache.spark.repl.SparkILoop第29行： 将源码包打包 ./dev/make-distribution.sh --name 2.6.0-cdh5.16.2 --tgz -Phive -Phive-thriftserver -Pyarn -P
阅读全文
posted @
2021-04-19 21:24
吹静静
阅读(163)
推荐(0) 编辑
Spark-3.1.1编译流程及踩坑记录
摘要：基础环境 流程概述 此次编译过程是将Spark-3.1.1源码包下载到Windows本机，使用maven编译，编译完成后导入IDEA运行，连接Linux端hive做SQL操作。 软件版本 Linux端： hadoop-2.6.0-cdh5.16.2 apache-hive-3.1.2-bin Win
阅读全文
posted @
2021-04-15 10:59
吹静静
阅读(3871)
推荐(0) 编辑
Hadoop常用命令
摘要：全局命令 全部启动：start-all.sh 全部关闭：stop-all.sh 启动全部HDFS服务：start-dfs.sh 关闭全部HDFS服务：stop-dfs.sh 启动全部YARN服务：start-yarn.sh 关闭全部YARN服务：stop-yarn.sh 单个服务命令 启动NN：ha
阅读全文
posted @
2021-04-10 13:20
吹静静
阅读(297)
推荐(0) 编辑
管理
