10 2015 档案

Hadoop HDFS copyMergeFromLocal
摘要：在谈到HDFS优化中，其中HDFS擅长处理大文件，而对于小文件常用的优化策略有压缩合并。在此列举小文件合并工具类供参考。/*** Get all the files in the directories that match the source file patte... 阅读全文
posted @ 2015-10-24 22:49 写昵称不如写代码 阅读(200) 评论(0) 推荐(0)
Hadoop HDFS copyMergeFromLocal
摘要：在谈到HDFS优化中，其中HDFS擅长处理大文件，而对于小文件常用的优化策略有压缩合并。在此列举小文件合并工具类供参考。/*** Get all the files in the directories that match the source file patte... 阅读全文
posted @ 2015-10-24 22:49 写昵称不如写代码 阅读(461) 评论(0) 推荐(0)
单例模式 异常抛出
摘要：public class FileUtil { private static class SingleFileUtill{ private static FileSystem fs = null; static{ ... 阅读全文
posted @ 2015-10-20 14:40 写昵称不如写代码 阅读(174) 评论(0) 推荐(0)
【JAVA笔记——道】深入Java单例模式
摘要：深入Java单例模式在GoF的23种设计模式中，单例模式是比较简单的一种。然而，有时候越是简单的东西越容易出现问题。下面就单例设计模式详细的探讨一下。所谓单例模式，简单来说，就是在整个应用中保证只有一个类的实例存在。就像是Java Web中的application，也... 阅读全文
posted @ 2015-10-19 11:12 写昵称不如写代码 阅读(141) 评论(0) 推荐(0)
【JAVA笔记——道】深入Java单例模式
摘要：深入Java单例模式在GoF的23种设计模式中，单例模式是比较简单的一种。然而，有时候越是简单的东西越容易出现问题。下面就单例设计模式详细的探讨一下。所谓单例模式，简单来说，就是在整个应用中保证只有一个类的实例存在。就像是Java Web中的application，也... 阅读全文
posted @ 2015-10-19 11:12 写昵称不如写代码 阅读(114) 评论(0) 推荐(0)
Hadoop学习笔记（九）HDFS架构分析
摘要：HDFS设计目标巨大的分布式文件系统:10PB以上，万个以上节点运行于普通硬件：文件多重备份，探测失败和错误恢复优化批处理：数据暴漏位置，以便计算能够挪到数据附近；提供高举和的带宽用户控件可以位于异构的操作系统中在整个集群中使用单一的命名空间数据一致性：写入一次读取多... 阅读全文
posted @ 2015-10-17 20:37 写昵称不如写代码 阅读(149) 评论(0) 推荐(0)
Hadoop学习笔记（九）HDFS架构分析
摘要：HDFS设计目标巨大的分布式文件系统:10PB以上，万个以上节点运行于普通硬件：文件多重备份，探测失败和错误恢复优化批处理：数据暴漏位置，以便计算能够挪到数据附近；提供高举和的带宽用户控件可以位于异构的操作系统中在整个集群中使用单一的命名空间数据一致性：写入一次读取多... 阅读全文
posted @ 2015-10-17 20:37 写昵称不如写代码 阅读(132) 评论(0) 推荐(0)
Hadoop学习笔记（八）MapReduce深入分析
摘要：MapReduce深入分析Hadoop中MapReduce提供的主要是离线端的数据分析。根据其原理，可以将其分为两个阶段 1. Map 2. Reduce阶段Hadoop在MapReduce设计方面主要有两个重要思想：化整为零，分而治之。数据加工终端化。数据在终端加工... 阅读全文
posted @ 2015-10-15 15:17 写昵称不如写代码 阅读(128) 评论(0) 推荐(0)
Hadoop学习笔记（八）MapReduce深入分析
摘要：MapReduce深入分析Hadoop中MapReduce提供的主要是离线端的数据分析。根据其原理，可以将其分为两个阶段 1. Map 2. Reduce阶段Hadoop在MapReduce设计方面主要有两个重要思想：化整为零，分而治之。数据加工终端化。数据在终端加工... 阅读全文
posted @ 2015-10-15 15:17 写昵称不如写代码 阅读(212) 评论(0) 推荐(0)
Hadoop学习笔记（七）
摘要：Eclipse项目导入# Hadoop源码导入 #导入hadoop-1.2.1\src目录下 core、hdfs、mapred、example、tools五个文件夹。测试主要使用这几个文件夹，如果有更多需求可以查看其它文档说明。 Eclipse下新建hadoop-te... 阅读全文
posted @ 2015-10-07 23:10 写昵称不如写代码 阅读(119) 评论(0) 推荐(0)
Hadoop学习笔记（七）
摘要：Eclipse项目导入# Hadoop源码导入 #导入hadoop-1.2.1\src目录下 core、hdfs、mapred、example、tools五个文件夹。测试主要使用这几个文件夹，如果有更多需求可以查看其它文档说明。 Eclipse下新建hadoop-te... 阅读全文
posted @ 2015-10-07 23:10 写昵称不如写代码 阅读(101) 评论(0) 推荐(0)
Hadoop学习笔记（六）启动Shell分析
摘要：Hadoop启动Shell分析启动顺序使用$HADOOP_HOME/start-all.sh启动Hadoop守护进程Warning: $HADOOP_HOME is deprecated.starting namenode, logging to /opt/modul... 阅读全文
posted @ 2015-10-03 22:44 写昵称不如写代码 阅读(122) 评论(0) 推荐(0)
Hadoop学习笔记（六）启动Shell分析
摘要：Hadoop启动Shell分析启动顺序使用$HADOOP_HOME/start-all.sh启动Hadoop守护进程Warning: $HADOOP_HOME is deprecated.starting namenode, logging to /opt/modul... 阅读全文
posted @ 2015-10-03 22:44 写昵称不如写代码 阅读(118) 评论(0) 推荐(0)
Hadoop学习笔记（五）日志系统
摘要：Hadoop日志Hadoop目录保存在$HADOOP_HOME/logsHadoop日志格式Hadoop日志存在两种格式log 通过log4j日志记录格式进行记录的,$HADOOP_HOME/conf/log4.propertiesj进行配置。采用日常滚动文件后缀策略... 阅读全文
posted @ 2015-10-02 14:11 写昵称不如写代码 阅读(136) 评论(0) 推荐(0)
Hadoop学习笔记（五）日志系统
摘要：Hadoop日志Hadoop目录保存在$HADOOP_HOME/logsHadoop日志格式Hadoop日志存在两种格式log 通过log4j日志记录格式进行记录的,$HADOOP_HOME/conf/log4.propertiesj进行配置。采用日常滚动文件后缀策略... 阅读全文
posted @ 2015-10-02 14:11 写昵称不如写代码 阅读(140) 评论(0) 推荐(0)
Hadoop学习笔记（四）Hadoop伪分布式配置
摘要：Hadoop配置文档（二）这一篇是介绍Hadoop伪分布式的配置中的Hadoop的配置。第一部分是Hadoop1.0配置，第二部分是Hadoop2.0的配置，大家可以自己选择查看。 Linux配置可以查看 Hadoop学习笔记（三）Linux环境配置Hadoop1... 阅读全文
posted @ 2015-10-02 13:34 写昵称不如写代码 阅读(114) 评论(0) 推荐(0)
Hadoop学习笔记（四）Hadoop伪分布式配置
摘要：Hadoop配置文档（二）这一篇是介绍Hadoop伪分布式的配置中的Hadoop的配置。第一部分是Hadoop1.0配置，第二部分是Hadoop2.0的配置，大家可以自己选择查看。 Linux配置可以查看 Hadoop学习笔记（三）Linux环境配置Hadoop1... 阅读全文
posted @ 2015-10-02 13:34 写昵称不如写代码 阅读(155) 评论(0) 推荐(0)
Hadoop学习笔记（三）Linux环境配置
摘要：Hadoop配置文档（一）下载安装下载jdk-7u80-linux-x64.tar.gz sudo tar -xvf jdk-7u80-linux-x64.tar.gz -C /opt/modules/下载hadoop-1.2.1-bin.tar.gz sudo ta... 阅读全文
posted @ 2015-10-01 21:26 写昵称不如写代码 阅读(133) 评论(0) 推荐(0)
Hadoop学习笔记（三）Linux环境配置
摘要：Hadoop配置文档（一）下载安装下载jdk-7u80-linux-x64.tar.gz sudo tar -xvf jdk-7u80-linux-x64.tar.gz -C /opt/modules/下载hadoop-1.2.1-bin.tar.gz sudo ta... 阅读全文
posted @ 2015-10-01 21:26 写昵称不如写代码 阅读(132) 评论(0) 推荐(0)