摘要：
MR(MapReduce)运行过程 client程序--》提交job至JobTracker--》分配job ID--》JobTracker检查输入文件存在，输出文件不存在--》进行输入分片--》Jobtracker分配资源--》初始化job（初始化就是创建一个正在运行的job对象（封装任务和记录信息 阅读全文
摘要：
HDFS的IO操作 1.数据完整性 为了保证数据的完整性，一般采用数据校验技术： 1、奇偶校验技术 2、md5，sha1等校验技术 3、CRC-32循环冗余校验技术 4、ECC内存纠错校验技术HDFS数据完整性 1、HDFS以透明方式校验所有写入的数据，可以通过io.bytes.per.checks 阅读全文
摘要：
master/slave主从结构： HDFS是一个 master/slave的架构。HDFS只有一个NameNode，即master。master负责管理文件系统命名空间和client对文件的访问。此外，HDFS有很多DataNode，通常一个机器节点一个DataNode，管理这个节点上的存储。HD 阅读全文
摘要：
1.hadoop.apache.org //hadoop官网 2.hadoop框架 （１）mapreduce 分布式批处理方式 --java编写程序任务，在hadoop以任务方式执行 （２）hadoop distributed file system hdfs分布式存储（一般存的是不可变的数据） （ 阅读全文
摘要：
1.结构化数据 非结构化数据 相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 字段可根据需要扩充，即字段数目不定 阅读全文