摘要:
显示虚拟机 停止虚拟机 启动虚拟机 删除虚拟机 修改虚拟机内存 修改虚拟机配置 阅读全文
摘要:
缺少包,在spark-submit 中指定 packages 如下: 阅读全文
摘要:
简单列出 hadoop 的常用命令及说明,方便以后查询。 阅读全文
摘要:
原因: HADOOP_PID_DIR 默认为 /tmp 目录,如果长期不访问/tmp/目录下的文件,文件会被自动清理,因此 stop-dfs.sh 无法根据 pid 停止 namenode, datanode。 解决办法: 使用ps命令查找正在运行的namenodes、datanodes和secon 阅读全文
摘要:
1. 配置 git config --list git config --global http.sslverify false git config --global user.name "Firstname Lastname" git config --global user.email you 阅读全文
摘要:
易道境游,器医神守 自强不息,止于至善 2017 年 12 月 http://www.cnblogs.com/weiweifeng/p/8073553.html 2017 年 09 月 http://www.cnblogs.com/weiweifeng/p/7489449.html http://w 阅读全文
摘要:
export HADOOP_CONF_DIR= 阅读全文
摘要:
spark 官网首页 https://spark.apache.org/ spark 官网文档 spark scala API 文档 https://spark.apache.org/docs/latest/api/scala/index.html#package csdn spark 技术社区 h 阅读全文
摘要:
spark-submit 可以提交任务到 spark 集群执行,也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子,部署 spark standalone 模式后,提交到本地执行。 如果部署 hadoop,并且启动 yarn 后,spark 提交到 yarn 执行的例 阅读全文
摘要:
print(format(float(a)/float(b),'.2f')) 阅读全文