2018年6月19日
摘要：
故障一：某个datanode节点无法启动 我是以用户名centos安装和搭建了一个测试用的hadoop集群环境，也配置好了有关的权限，所有者、所属组都配成centos:centos 【故障现象】 名称节点的3个进程都起来了，但是其中一个数据节点的DataNode进程没启动，就是说在该数据节点上通过j 阅读全文
摘要：
为更好了解各种故障，可以修改数据块的大小和提升NameNode的日志级别 [html] view plain copy <property> <name>dfs.block.size</name> <value>4194304</value> </property> <property> <name 阅读全文
摘要：
Hadoop MapReduce性能优化影响MapReduce输入数据处理时间的因素很多。其中之一是实现map和reduce函数时使用的算法。其他外部因素也可能影响MapReduce性能。根据我们的经验和观察，可能影响MapReduce的主要因素有以下几个。 硬件（或者资源）因素，如CPU时钟、磁盘 阅读全文
摘要：
Hadoop小文件存储方案 HDFS总体架构 在介绍文件存储方案之前，我觉得有必要先介绍下关于HDFS存储架构方面的一些知识，在对架构有初步了解后，才会明白为什么要单独针对小文件展开介绍，小文件存储和其它文件存储区别在什么地方。 这里我只是就Hadoop生态中的存储层展开介绍，对于其它部分本文暂未描 阅读全文
摘要：
************************************************************************************************************ 1. HDFS上的小文件问题 小文件是指文件大小明显小于HDFS上块（block） 阅读全文
摘要：
map/reduce 阅读: 434809 Python内建了map()和reduce()函数。 如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”，你就能大概明白map/reduce的概念。 阅读全文
摘要：
Linux mv命令 Linux mv命令用来为文件或目录改名、或将文件或目录移入其它位置。 语法 mv [options] source dest mv [options] source... directory 参数说明： -i: 若指定目录已有同名文件，则先询问是否覆盖旧文件; -f: 在mv 阅读全文
摘要：
Linux chown命令 Linux/Unix 是多人多工操作系统，所有的文件皆有拥有者。利用 chown 将指定文件的拥有者改为指定的用户或组，用户可以是用户名或者用户ID；组可以是组名或者组ID；文件是以空格分开的要改变权限的文件列表，支持通配符。 。 一般来说，这个指令只有是由系统管理者(r 阅读全文
摘要：
Linux chmod命令 Linux/Unix 的文件调用权限分为三级 : 文件拥有者、群组、其他。利用 chmod 可以藉以控制文件如何被他人所调用。 使用权限 : 所有使用者 语法 chmod [-cfvR] [--help] [--version] mode file... 参数说明 mod 阅读全文
摘要：
cat命令是linux下的一个文本输出命令，通常是用于观看某个文件的内容的； cat主要有三大功能：1.一次显示整个文件。$ cat filename2.从键盘创建一个文件。$ cat > filename只能创建新文件,不能编辑已有文件.3.将几个文件合并为一个文件。$cat file1 file 阅读全文