2021 年 4月随笔档案 - 吹静静

摘要：[hadoop@ruozedata ~]$ netstat -tapn 阅读全文

posted @ 2021-04-21 21:11 吹静静阅读(397) 评论(0) 推荐(0) 编辑

摘要：修改源码：package org.apache.spark.repl.SparkILoop第29行：将源码包打包 ./dev/make-distribution.sh --name 2.6.0-cdh5.16.2 --tgz -Phive -Phive-thriftserver -Pyarn -P 阅读全文

posted @ 2021-04-19 21:24 吹静静阅读(163) 评论(0) 推荐(0) 编辑

Spark-3.1.1编译流程及踩坑记录

摘要：基础环境流程概述此次编译过程是将Spark-3.1.1源码包下载到Windows本机，使用maven编译，编译完成后导入IDEA运行，连接Linux端hive做SQL操作。软件版本 Linux端： hadoop-2.6.0-cdh5.16.2 apache-hive-3.1.2-bin Win 阅读全文

posted @ 2021-04-15 10:59 吹静静阅读(3865) 评论(0) 推荐(0) 编辑

Hadoop常用命令

摘要：全局命令全部启动：start-all.sh 全部关闭：stop-all.sh 启动全部HDFS服务：start-dfs.sh 关闭全部HDFS服务：stop-dfs.sh 启动全部YARN服务：start-yarn.sh 关闭全部YARN服务：stop-yarn.sh 单个服务命令启动NN：ha 阅读全文

posted @ 2021-04-10 13:20 吹静静阅读(297) 评论(0) 推荐(0) 编辑

吹静静

欢迎QQ交流：592590682