摘要：
mapreducer计算原理 InputFormat InputFormat的默认实现是TextInputFormat InputSplit 是mapreducer对文件进行处理和运算的输入单位。只是一个逻辑概念。每一个InputSplit并没有对文件进行实际的切割。只是记录了要处理文件的位置信息（ 阅读全文
摘要：
Job的运行过程 Job的具体运行过程 a) 运行mapred程序 b) 本次运行将生成一个Job,于是JobClient向JobTracker(ResourceManager)申请一个JobId以标识这个Job c) JobClient将Job所需要的资源提交到HDFS中一个以JOBID命名的目录 阅读全文
摘要：
JAVAAPI 上传小文件 代码 上面的例子完成了把一个字符串输出到hdfs中的/test目录中。 原理 见上传大文件的例子 上传大文件 代码 原理 客户端调用FileSystem的create方法创建文件，这个时候会远程调用NameNode，在文件系统的命名空间中创建一个新的文件，NameNode 阅读全文
摘要：
文件操作 Hadoop-fs 帮助文档 [root@hadoop01 current]# hadoop fs –help -ls [-d] [-h] [-R] [<path> ...] : List the contents that match the specified file pattern 阅读全文
摘要：
体系结构 从上图可以看出NameNode节点:在Hadoop1.x的版本中，NameNode节点只有一个，所以NameNode节点为非HA的(不是高可用的,后面会详细讨论)。在Hadoop2.X的版本中，NameNode节点可以有很多个。所以在Hadoop2.x的版本中，NameNode节点是HA的 阅读全文
摘要：
hdfs(分布式文件系统) 优点 支持超大文件 支持超大文件。超大文件在这里指的是几百M，几百GB，甚至几TB大小的文件。一般来说hadoop的文件系统会存储TB级别或者PB级别的数据。所以在企业的应用中，数据节点有可能有上千个。 检测和快速应对硬件故障 在集群的环境中，硬件故障是常见的问题。因为有 阅读全文
摘要：
hadoop的单机配置 准备工作 利用vim /etc/sysconfig/network命令修改主机名称。 Ssh security shell 远程登录 登录远程服务器 $ ssh user@host 如果本地用户名与远程用户名一致，登录时可以省略用户名。 $ ssh host 提示信息 The 阅读全文
摘要：
hadoop的目录结构介绍 解压缩hadoop 利用tar –zxvf把hadoop的jar包放到指定的目录下。 tar -zxvf /home/software/aa.tar.gz -C /home/zjx/pf f:指定文件的名称 z:以gz结尾的文件就是用gzip压缩的结果。与gzip相对的就 阅读全文
摘要：
zebra架构的缺点 文件存储方式的缺点 1、 一个文件如果特别大，这样会造成存储的问题。一台机器的磁盘也不可能存储特别大的文件 2、 该文件在查询、删除、修改的时候都会存在问题 3、 如果文件太多，管理起来特别不方便 4、 如果一个文件破坏了，那么将会造成文件的丢失，因为没有重用的文件 计算的缺点 阅读全文
摘要：
云计算 云计算的概念 能通过网络访问可扩展的、灵活的、可共享的物理或虚拟资源池，并按需自助获取和管理这些资源的模式。其中资源实例包括服务器、操作系统、网络、软件、应用和存储设备等。如图-1所示。 Iaas Iaas: Infrastructure as a Service，基础设施即服务。这里的基础 阅读全文