摘要: 1,HDFS命令行在Hadoop客户端的使用: 2,常用的命令行参数介绍 -help 功能:输出这个命令参数手册 -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoo 阅读全文
posted @ 2018-10-12 21:13 薄点 阅读(936) 评论(0) 推荐(0) 编辑
摘要: HDFS 分布式文件系统 一,基本理解 简单而谈,分布式是分而治之,HDFS也是这个思想,将大量的大文件和大数据,分布式的放在大量的服务器上,以便采用分而治之的方式对海量的数据进行运算分析。所以,它的作用也就是为各类的分布式运算框架(mapreduce,spark等)提供数据存储服务。 其重要的特性 阅读全文
posted @ 2018-10-12 21:02 薄点 阅读(165) 评论(0) 推荐(0) 编辑
摘要: HADOOP学习笔记 一,对Hadoop的基本理解 Hadoop是apache旗下的一套开源的软件平台,主要是利用服务器集群,根据用户的自定义的业务逻辑,对海量数据的分布式处理。 这里讲一下分布式软件系统:软件系统会划分成多个子系统或模块,各自运行在不同的机器上,子系统或模块之间通过网络通信(RPC 阅读全文
posted @ 2018-10-12 00:40 薄点 阅读(126) 评论(0) 推荐(0) 编辑