摘要： 今天主要学习了第二章关于MapReduce，澄清了对一些概念的认识。分片：也叫输入分片（input split），是Hadoop将MapReduce的输入数据划分成的等长的小数据块。Hadoop为每一个分片构建一个map任务。一方面，分片越小，负载平衡的质量越好；另一方面，如果分片太小，那么管理分片的总时间和构建map任务的总时间将决定着作业的整个执行时间。以前一直认为分片就是block，其实不是。只是对于大多数作业来说，一个合理的分片大小趋向于HDFS的一个块大小。map任务将其输出写入本地硬盘，而非HDFS。reduce任务数量并非由输入数据的大小决定的，而是特别指定的。如果有多个redu 阅读全文

摘要： 单位买的Hadoop权威指南，一直放着，最近拿起来看了看，确实不错，好久没读书了，不知道这么厚的一本能看多少。我是翻到那里看到哪里了，有用的记下来，以后查的时候方便吧。先来第一篇，今天看的第九章构架hadoop集群的hadoop配置，发现有些配置以前理解错了，记下来，记下来。属性项dfs.name.dir指定一系列目录供namenode存储永久性的文件系统元数据（编辑日志和文件系统映像）。这些元数据文件会同时备份在所有指定的目录中。通常情况下，配置dfs.name.dir，将namenode的元数据写到一个（或两个）本地磁盘和一个远程磁盘（例如NFS挂载的目录）之中。辅助namenode只.. 阅读全文

摘要： 今天下午配置伪分布式的Hadoop环境，直接将系统上的hadoop照搬下来，修改了master和slaves中的namenode和datanode和core-site.xml、hdfs-site.xml和mapred-site.xml文件相应的namenode配置，运行起来后报错：File /home/hadoop/data/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1。 网上搜了N种方法，大部分说需要重新format tmp文件夹，但是没说这么做的原因。后来查看配置... 阅读全文

摘要： 如果erase（）总是返回下一元素的位置，那就可以像在vector容器中删除元素一样，如：// 删除所有实值为2的元素 map< int, int >::iterator itMap = mapInt.begin(); for ( ; itMap != mapInt.end(); ) { if ( itMap->second == 2 ) { itMap = mapInt.erase( itMap ); } else { ++itMap; } }但是，注意，以上的方式只在vc使用P.J.STL中才能编译通过，而使用SGI STL库则编译不过，因为SGISTL库在设计中考虑到如 阅读全文

摘要： 对于set这个STL容器来说，就实现来说，我了解到的版本，是通过RB-Tree的方式实现的，内部逻辑似乎是采用Tree结构的平行方式进行展开，换句话说也就是将Tree保存在类似vector这样的线性结构中，不过，这篇帖子并不在于讨论内部结构，而是具体使用中出现的自定义比较的几种方式。set的话，默认情况，可以不指定第二个模板参数，但是，如果使用非基础类型的话，是需要指定第二个模板参数，用来进行比较的。我这里以几种方式来实现，原理基本上是相同的，运行结果是完全相同的，不过实现的方式却各有特点：重载<操作符 view plaincopy to clipboardprint?#include 阅读全文

摘要： 配置：Struts配置多为配置struts-config.xml和web.xml，可参考Struts源码文件下的blank项目中参考。1.struts-config.xml文件中加入<message-resources parameter="MessageResources" />2.拷贝MessageResources.properties（blank项目java包下）文件到src下使用:1.jsp页面中引入描述<% taglib prefix="bean" uri="http://struts.apache.org/tag 阅读全文