willian_zhang - 博客园

2017年3月9日

摘要： 1：512mb 2核启动阅读全文

posted @ 2017-03-09 21:55 willian_zhang 阅读(2220) 评论(0) 推荐(0) 编辑

2017年3月6日

摘要：恢复内容开始 1：去官网下载spark http://spark.apache.org 2：解压，然后在自己的机器上编译conf中的两个文件 3:编辑的内容如下以下是spark-env.sh中的内容这里的ip使用的是内网ip 4：slaves文件内容一下是slaves中的内容，这里直接填写外网阅读全文

posted @ 2017-03-06 20:37 willian_zhang 阅读(1538) 评论(1) 推荐(0) 编辑

2017年1月6日

java路径问题

摘要：使用了java这么久一直对java获取路径存在困惑，将一些常用的获取路径方式记录如下：阅读全文

posted @ 2017-01-06 23:32 willian_zhang 阅读(206) 评论(0) 推荐(0) 编辑

2016年11月25日

mapreduce核心原理

摘要： 1：第一阶段：第一阶段的task每一个nodemanager并发运行程序，完全并发，各不影响。这就是map阶段运行的task时maptask 2：第二个阶段的task并发实例互不相干，但是他们的数据依赖与上一个阶段的task的输出。这时reduce阶段，运行的时reduce task。阅读全文

posted @ 2016-11-25 17:15 willian_zhang 阅读(111) 评论(0) 推荐(0) 编辑

2016年11月24日

hadoop 日志分析

摘要： 1：在每一个tomcat服务器上，生成的日志目录中，在java中用定时器每天将当天的日志上传到hadoop中（技术要点：quatz+hadoop-client）具体的目录动态的采用时间品名 2：hadoop集群每天进行一次日志分析阅读全文

posted @ 2016-11-24 15:24 willian_zhang 阅读(182) 评论(0) 推荐(0) 编辑

hadoop 运维

摘要： 1：hdfs dfsadmin -report //查看集群运行状态阅读全文

posted @ 2016-11-24 12:57 willian_zhang 阅读(121) 评论(0) 推荐(0) 编辑

hadoop namenpde机制

摘要： 1：通过查看hadoop的临时目录，看到有fsimage和edit文件 2：fsimage时namenode的元数据内存镜像文件，edit文件时hadoop客户端的操作记录， edit_inprocess是正在写的文件 3：secondnamenode是负责将edit和fsimage文件合并成新的f 阅读全文

posted @ 2016-11-24 11:58 willian_zhang 阅读(155) 评论(1) 推荐(0) 编辑