hadoop学习笔记-目录
摘要：以下是hadoop学习笔记的顺序： hadoop学习笔记（一）：概念和组成 hadoop学习笔记（二）：centos7三节点安装hadoop2.7.0 hadoop学习笔记（三）：hdfs体系结构和读写流程（转） hadoop学习笔记（四）：hdfs常用命令 hadoop学习笔记（五）：java a
阅读全文
posted @ 2018-07-21 14:23
随笔分类 - hadoop
hadoop学习笔记（三）：hdfs体系结构和读写流程（转）
摘要：原文：https://www.cnblogs.com/codeOfLife/p/5375120.html 目录 HDFS 是做什么的 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何存储数据 HDFS 如何读取文件 HDFS 如何写入文件 HDFS 副本存放策略 HDFS 是做什么
阅读全文
posted @ 2018-07-08 14:57
hadoop学习笔记（六）：HBase体系结构和数据模型
摘要：1. HBase体系结构 一个完整分布式的HBase的组成示意图如下，后面我们再详细谈其工作原理。 1)Client 包含访问HBase的接口并维护cache来加快对HBase的访问。 2）Zookeeper 保证任何时候，集群中只有一个master 存储所有Region的寻址入口 实时监控Regi
阅读全文
posted @ 2018-07-08 14:22
hadoop学习笔记（五）：java api 操作hdfs
摘要：HDFS的Java访问接口 1）org.apache.hadoop.fs.FileSystem 是一个通用的文件系统API，提供了不同文件系统的统一访问方式。 2）org.apache.hadoop.fs.Path 是Hadoop文件系统中统一的文件或目录描述，类似于java.io.File对本地文
阅读全文
posted @ 2018-05-27 21:12
hadoop学习笔记（四）：hdfs常用命令
摘要：一、hadoop fs 1、创建目录 加 -p 则创建多级目录 2、ls,列出指定目录的所有文件或文件夹 加 -R，列出所有级的目录和文件 3、copeFromLocal，复制本地文件到hdfs的目录，除了限定源路径是一个本地文件外，和put命令相似，如果要强制复制文件 加-f 也可以一次复制多个文
阅读全文
posted @ 2018-05-18 22:45
hadoop学习笔记（二）：centos7三节点安装hadoop2.7.0
摘要：环境win7+vamvare10+centos7 一、新建三台centos7 64位的虚拟机 二、关闭三台虚拟机的防火墙，在每台虚拟机里面执行： 三、在三台虚拟机里面的/etc/hosts添加三行 四、为三台机器设置ssh免密登录 1、CentOS7默认没有启动ssh无密登录，去掉/etc/ssh/
阅读全文
posted @ 2018-04-19 23:44
hadoop学习笔记（一）：概念和组成
摘要：一、什么是hadoop Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。 Hadoop框架透
阅读全文
posted @ 2018-03-14 21:53
