摘要：
需求 1．文件操作 1）上传本地文件到HDFS 2）读取文件 3）在hadoopfs中新建文件，并写入 4）重命名文件 5）删除hadoopfs上的文件 2．目录操作 1）读取某个目录下的所有文件 2）在hadoopfs上创建目录 3）删除目录 3. HDFS信息 1）查找某个文件在HDFS集群的位 阅读全文
摘要：
出现的错误截图： 此时Eclipse使用的jdk1.8，将编译环境改成jdk1.7就行了，解决。 没问题了。 下面观点是参考如下网址，未经验证。参考：http://blog.csdn.net/oneinmore/article/details/45332279 这些都是泛型相关的错误，因此我猜测是e 阅读全文
摘要：
针对Hadoop成功配置并测试通过，第二次（关机重启）后Hadoop打不开的问题，一般都是因为防火墙的问题，将防火墙关闭后就可以了. 更细致的现象为start-all.sh启动，五大守护进程启动成功，并且在CentOS的浏览器中能够访问hadoop-master.dragon.org：50070。而 阅读全文
摘要：
1、Hadoop启动或停止 1）第一种方式 分别启动 HDFS 和 MapReduce，命令如下： 启动： $ start-dfs.sh $ start-mapred.sh 停止： $ stop-mapred.sh $ start-dfs.sh 2）第二方式 全部启动或者全部停止 启动：start- 阅读全文
摘要：
Warning $HADOOP_HOME is deprecated.去除办法 警告的出现： 解决方案： 第一种： 去除【/etc/profile】文件中【export HADOOP_HOME=/opt/modules/hadoop-1.2.1】，并且使其生效， 命令如下： # source /et 阅读全文
摘要：
1、配置文件 三大基础配置文件： 1）core-site.xml：配置HadoopCommonProject相关的属性配置，Hadoop1.x框架基础属性的配置 2）hdfs-site.xml：配置HDFSProject文件系统相关的属性 3)mapred-site.xml：配置与MapReduce框架相关的属性 配置文件: 1）masters：主节点，并不是配置H... 阅读全文
摘要：
查看IP地址，设为手动模式： 配置hadoop用户sudo权限 su切换到root身份，配置vim /etc/sudoers文件，加入 hadoop ALL=(root)NOPASSWD:ALL 配置/opt文件夹的属主 将/opt文件夹的属于由root:root改为hadoop sudo -R hadoop:hadoop /opt 关闭防火墙和禁用SELinux... 阅读全文
摘要：
软件安装的规则： /opt --- 父目录 /opt/modules -- 存放软件的安装目录 /opt/softwares -- 存放软件包（tar 包，bin 文件，zip 文件等） /opt/tools -- 存储工具目录（Eclipse 等） /opt/data -- 存储一些测试数据 /h 阅读全文
摘要：
内容提纲： 1）对 Apache Hadoop 生态系统的认识（Hadoop 1.x 和 Hadoop 2.x） 2） Apache Hadoop 1.x 框架架构原理的初步认识 3） Apache Hadoop 1.x 安装的三种模式 Hadoop 1.x 生态系统 ETL: 提取à转换à加载：从 阅读全文
摘要：
一、海量数据： 量：大、数目多，数据量到达PB、ZB级别，条目数到达几十亿条、百亿条 1）存储：分布式，集群的概念，管理（主节点、从节点），HDFS（HadoopDistributedFileSystem） 2）分析：分布式，并行，离线计算框架，管理（主节点、从节点），MapReduce Apach 阅读全文