会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
willian
18702515157@163.com
博客园
首页
新随笔
新文章
联系
订阅
管理
上一页
1
2
3
2017年3月9日
spark常用命令
摘要: 1:512mb 2核启动
阅读全文
posted @ 2017-03-09 21:55 willian_zhang
阅读(2220)
评论(0)
推荐(0)
编辑
2017年3月6日
云服务器spark集群搭建
摘要: 恢复内容开始 1:去官网下载spark http://spark.apache.org 2:解压,然后在自己的机器上编译conf中的两个文件 3:编辑的内容如下 以下是spark-env.sh中的内容 这里的ip使用的是内网ip 4:slaves文件内容 一下是slaves中的内容,这里直接填写外网
阅读全文
posted @ 2017-03-06 20:37 willian_zhang
阅读(1538)
评论(1)
推荐(0)
编辑
2017年1月6日
java路径问题
摘要: 使用了java这么久一直对java获取路径存在困惑,将一些常用的获取路径方式记录如下:
阅读全文
posted @ 2017-01-06 23:32 willian_zhang
阅读(206)
评论(0)
推荐(0)
编辑
2016年11月25日
mapreduce核心原理
摘要: 1:第一阶段: 第一阶段的task每一个nodemanager并发运行程序,完全并发,各不影响。这就是map阶段 运行的task时maptask 2:第二个阶段的task并发实例互不相干,但是他们的数据依赖与上一个阶段的task的输出。这时reduce阶段,运行的时reduce task。
阅读全文
posted @ 2016-11-25 17:15 willian_zhang
阅读(111)
评论(0)
推荐(0)
编辑
2016年11月24日
hadoop 日志分析
摘要: 1:在每一个tomcat服务器上,生成的日志目录中,在java中用定时器每天将当天的日志上传到hadoop中 (技术要点:quatz+hadoop-client)具体的目录动态的采用时间品名 2:hadoop集群每天进行一次日志分析
阅读全文
posted @ 2016-11-24 15:24 willian_zhang
阅读(182)
评论(0)
推荐(0)
编辑
hadoop 运维
摘要: 1:hdfs dfsadmin -report //查看集群运行状态
阅读全文
posted @ 2016-11-24 12:57 willian_zhang
阅读(121)
评论(0)
推荐(0)
编辑
hadoop namenpde机制
摘要: 1:通过查看hadoop的临时目录,看到有fsimage和edit文件 2:fsimage时namenode的元数据内存镜像文件,edit文件时hadoop客户端的操作记录, edit_inprocess是正在写的文件 3:secondnamenode是负责将edit和fsimage文件合并成新的f
阅读全文
posted @ 2016-11-24 11:58 willian_zhang
阅读(155)
评论(1)
推荐(0)
编辑
上一页
1
2
3