摘要：
参考：HDFS概述（4）————HDFS权限 HDFS概述（3）————HDFS Federation HDFS概述（2）————Block块大小设置 HDFS概述（1）————HDFS架构问题Q: 一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？A: 答案是实... 阅读全文
摘要：
分布式文件系统比较出名的有HDFS 和 GFS，其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。1、三个部分: 客户端、nameserver（可理解为主控和文件索引,类似Linux的inode）、datanode（存放实际数据） 在这里，client的形式我所了解的有两种，通过Hadoop提供的api所编写的程序可以... 阅读全文
摘要：
c++里面有没有什么办法做到 判断某个给定的未知数是double类型还是int类型 呢？ 如果只是double和int, 可以用sizeof12345678910111213141516171819202122#include using namespace std;#include int main(){ double a; double b; float c = 3.0; ... 阅读全文
摘要：
一个磁盘有它的块大小，代表着它能够读写的最小数据量。文件系统通过处理大小为一个磁盘块大小的整数倍数的数据块来运作这个磁盘。文件系统块一般为几千字节，而磁盘块一般为512个字节。这些信息，对于仅仅在一个文件上读或写任意长度的文件系统用户来说是透明的。但是，有些工具会维护文件系统，如df 和 fsck， 它们都在系统块级上操作。HDFS也有块的概念，不过是更大的单元，默认为128MB。与单一磁盘上的文... 阅读全文
摘要：
大数据学习篇：hadoop深入浅出系列之HDFS（七） ——小文件解决方案 - 美丽的泡沫 - CSDN博客 - http://blog.csdn.net/stronglyh/article/details/48751749# 上一篇文章讲了HDFS的java操作，今天讲HDFS的小文件解决方案 小文件指的是那些size比HDFS的block size(默认128M)小... 阅读全文
摘要：
使用RawComparator加速Hadoop程序 在前面两篇文章[1][2]中我们介绍了Hadoop序列化的相关知识，包括Writable接口与Writable对象以及如何编写定制的Writable类，深入的分析了Writable类序列化之后占用的字节空间以及字节序列的构成。我们指出Hadoop序 阅读全文
摘要：
Hadoop序列化与Writable接口(二) 上一篇文章Hadoop序列化与Writable接口（一）介绍了Hadoop序列化，Hadoop Writable接口以及如何定制自己的Writable类，在本文中我们继续Hadoop Writable类的介绍，这一次我们关注的是Writable实例序列 阅读全文
摘要：
Hadoop序列化与Writable接口(一) 序列化 序列化（serialization）是指将结构化的对象转化为字节流，以便在网络上传输或者写入到硬盘进行永久存储；相对的反序列化（deserialization）是指将字节流转回到结构化对象的过程。 在分布式系统中进程将对象序列化为字节流，通过网 阅读全文
摘要：
FSDataOutputStreamfinal FSDataOutputStream create = fs.create(path); 阅读全文
摘要：
如何使 生成的reduce files 按照key 全排序？------------------------------------------------------------------------ 1. 方法之一： 自定义分区函数 阅读全文