会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Magina_learning
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2018年4月3日
spark学习笔记
摘要: spark-shell : local模式 先启动Hadoop(hdfs或其他),在启动spark集群。让spark shell运行在Spark集群上,通过spark-shell附加的参数master的设置就可以使得在spark-shell中运行的程序提交到Spark集群中: spark-shell
阅读全文
posted @ 2018-04-03 18:07 Magina_learning
阅读(108)
评论(0)
推荐(0)
编辑
Hadoop与spark的WebUI
摘要: master(Master):8080 进入Spark的WebUI页面 master(Master):7077 Spark集群的Master的内部监听端口 master(drivernode):4040 从Web的角度了解Spark-shell(Driver ) master(Master):500
阅读全文
posted @ 2018-04-03 09:41 Magina_learning
阅读(212)
评论(0)
推荐(0)
编辑
hadoop-note
摘要: HaDoop文件系统HDFS的浏览器查看 原创 2016年11月22日 16:43:43 标签: hadoop 原创 2016年11月22日 16:43:43 标签: hadoop 简介:HaDoop安装之后,我们需要查看其虚拟的文件系统目录及内容,这时就需要用到浏览器,可以使用虚拟机的内置浏览器,
阅读全文
posted @ 2018-04-03 09:13 Magina_learning
阅读(103)
评论(0)
推荐(0)
编辑