摘要: 显示虚拟机 停止虚拟机 启动虚拟机 删除虚拟机 修改虚拟机内存 修改虚拟机配置 阅读全文
posted @ 2018-01-04 14:20 湖风雨晚晴 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 缺少包,在spark-submit 中指定 packages 如下: 阅读全文
posted @ 2017-12-28 14:19 湖风雨晚晴 阅读(2116) 评论(0) 推荐(0) 编辑
摘要: 简单列出 hadoop 的常用命令及说明,方便以后查询。 阅读全文
posted @ 2017-12-27 17:02 湖风雨晚晴 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 原因: HADOOP_PID_DIR 默认为 /tmp 目录,如果长期不访问/tmp/目录下的文件,文件会被自动清理,因此 stop-dfs.sh 无法根据 pid 停止 namenode, datanode。 解决办法: 使用ps命令查找正在运行的namenodes、datanodes和secon 阅读全文
posted @ 2017-12-27 13:43 湖风雨晚晴 阅读(641) 评论(0) 推荐(0) 编辑
摘要: 1. 配置 git config --list git config --global http.sslverify false git config --global user.name "Firstname Lastname" git config --global user.email you 阅读全文
posted @ 2017-12-27 12:50 湖风雨晚晴 阅读(166) 评论(0) 推荐(0) 编辑
摘要: 易道境游,器医神守 自强不息,止于至善 2017 年 12 月 http://www.cnblogs.com/weiweifeng/p/8073553.html 2017 年 09 月 http://www.cnblogs.com/weiweifeng/p/7489449.html http://w 阅读全文
posted @ 2017-12-26 22:35 湖风雨晚晴 阅读(85) 评论(0) 推荐(0) 编辑
摘要: export HADOOP_CONF_DIR= 阅读全文
posted @ 2017-12-22 17:23 湖风雨晚晴 阅读(98) 评论(0) 推荐(0) 编辑
摘要: spark 官网首页 https://spark.apache.org/ spark 官网文档 spark scala API 文档 https://spark.apache.org/docs/latest/api/scala/index.html#package csdn spark 技术社区 h 阅读全文
posted @ 2017-12-21 14:22 湖风雨晚晴 阅读(3036) 评论(0) 推荐(0) 编辑
摘要: spark-submit 可以提交任务到 spark 集群执行,也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子,部署 spark standalone 模式后,提交到本地执行。 如果部署 hadoop,并且启动 yarn 后,spark 提交到 yarn 执行的例 阅读全文
posted @ 2017-12-20 14:26 湖风雨晚晴 阅读(81408) 评论(0) 推荐(4) 编辑
摘要: print(format(float(a)/float(b),'.2f')) 阅读全文
posted @ 2017-09-19 19:23 湖风雨晚晴 阅读(350) 评论(0) 推荐(0) 编辑