摘要: HDFS的JAVA API操作 HDFS 在生产应用中主要是客户端的开发,其核心步骤是从 HDFS 提供的 api中构造一个 HDFS 的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS 上的文件。 创建 Maven工程,引入 pom依赖: 配置Windows平台的Hadoop环境 在 阅读全文
posted @ 2017-07-11 20:51 青衫仗剑 阅读(579) 评论(0) 推荐(0) 编辑
摘要: HDFS 基本 原理 1,为什么选择 HDFS 存储数据 之所以选择 HDFS 存储数据,因为 HDFS 具有以下优点: 1、高容错性 数据自动保存多个副本。它通过增加副本的形式,提高容错性。 某一个副本丢失以后,它可以自动恢复,这是由 HDFS 内部机制实现的,我们不必关心。 数据自动保存多个副本 阅读全文
posted @ 2017-07-11 17:55 青衫仗剑 阅读(344) 评论(0) 推荐(0) 编辑
摘要: 1 . HDFS 基本概念 1.1 HDFS 介绍 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。 分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机 阅读全文
posted @ 2017-07-11 16:55 青衫仗剑 阅读(888) 评论(0) 推荐(0) 编辑