随笔- 153
文章- 0
评论- 18
阅读-
50万
随笔分类 - Apache Hadoop
hadoop hdfs 数据迁移到其他集群
摘要：# hadoop fs -cat /srclist Warning: $HADOOP_HOME is deprecated. hdfs://sht-sgmhadoopcm-01:9011/jdk-6u45-linux-x64.bin hdfs://sht-sgmhadoopcm-01:9011/upload hdfs://sht-sgmhadoopcm-01:9011/oracle # h...
阅读全文
Hadoop 2.7.4 HDFS+YRAN HA删除datanode和nodemanager
摘要：当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root 因sht-sgmhadoopdn-04节点异常，需要从当前集群剔除 1. 在ac
阅读全文
nodemanager 无法启动报错“doesn't satisfy minimum allocations”
摘要：在启动nodemanager节点nodemanager时候报错 resourcemanager节点拒绝nodemanager接入 此原因是因为在nodemanager节点资源不足导致角色无法启动，需要在nodemanager节点加入如下参数加以资源使用限制 注意：报错并不能说明是因为内存问题还是因为
阅读全文
Hadoop 2.7.4 HDFS+YRAN HA增加datanode和nodemanager
摘要：当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root 集群部署完成后增加datanode sht-sgmhadoopdn-04 部署参
阅读全文
hadoop HA学习
摘要：一 HDFS HA架构图 二 HDFS HA组件 Active NameNode和Standby NameNode 在NameNode的HA方案中有两个不同状态的NameNode，分别为活跃态（Active）和备用状态（Standby），其中只有Active NameNode能对外提供服务，Stan
阅读全文
Hadoop 2.7.4 HDFS+YRAN HA部署
摘要：实验环境 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root 准备阶段 软件 Apache Hadoop http://archive.apa
阅读全文
Hadoop 2.7.3 完全分布式维护-动态增加datanode篇
摘要：原有环境 http://www.cnblogs.com/ilifeilong/p/7406944.html 现计划向集群新增一台datanode,如表格所示 1. 配置系统环境 主机名,ssh互信,环境变量等 2. 修改namenode节点的slave文件,增加新节点信息 3. 在namenode节
阅读全文
Hadoop 2.7.3 完全分布式维护-简单测试篇
摘要：1. 测试MapReduce Job 1.1 上传文件到hdfs文件系统 1.2 进行word count计算 1.3 查看wordcount结果 2. 测试hdfs分布式存储 2.1 上传测试文件 2.2 查看datanode副本信息
阅读全文
Hadoop 2.7.3 完全分布式维护-部署篇
摘要：测试环境如下 1. 软件准备 http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f
阅读全文
Hadoop介绍-4.Hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker
摘要：Hadoop是一个能够对大量数据进行分布式处理的软体框架，实现了Google的MapReduce编程模型和框架，能够把应用程式分割成许多的 小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程式称为「作业（job）」，而从一个作业划分出 得、运行于各个计
阅读全文
Hadoop介绍-3.HDFS介绍和YARN原理介绍
摘要：一、 HDFS介绍： 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN，为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储，用于海量数据的存储； MapReduce主要
阅读全文
Hadoop介绍-2.分布式计算框架Hadoop原理及架构全解
摘要：Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。
阅读全文
Hadoop介绍-1.基本原理
摘要：了解大数据 首先，搞清楚hadoop在处理大数据的定位在哪里 什么是大数据？为什么要处理大数据？ 数据量大（Volume） 数据类别复杂（Variety） 数据处理速度快（Velocity） 数据真实性高（Veracity） 合起来被称为4V。 处理大数据是为了挖掘数据中的隐含价值 如何处理大数据？
阅读全文
