随笔分类 - Hadoop
摘要：最近一直在找工作，比较空闲，就没事研究一下hadoop,网上的视频及书，讲的差不多都是1.2.1这个版本，然后就试着在docker中搭建了一个hadoop集群， 项目已经放到了github上面了,供新手朋友参考 https://github.com/jackluo2012/docker-hadoop
阅读全文
摘要：FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hive/warehouse/page_view. Name node is in safe mode.在安装hive mysql in hadoop 的时候报了错bin/hadoop dfsadmin -safemod
阅读全文
摘要：原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。3、HDFS以支持大数据集合为目标，一个存储在上面的典型文件大小一般都在千兆至T字节，一个单一HDFS实例应该能支撑数以千万计的文件。4、HDFS应用对文
阅读全文
