随笔分类 -  hadoop

hdfs shell操作
摘要：hdfs所有命令行均有$HADOOP_HOME/bin/hadoop脚本执行，不指定参数bin/hadoop会显示所有命令的描述，可通过hadoop fs -help查看命令帮助。 hdfs命令执行样式为hadoop fs -shell 一、文件上传与下载 1、文件上传，将文件从linux本地上传至 阅读全文
posted @ 2021-12-14 20:29 Forever77 阅读(70) 评论(0) 推荐(0) 编辑
hdfs基本介绍
摘要：一、hdfs概述 HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的简称，它的设计目标是把超大数据集存储到网络中的多台普通计算机上，并提供高可靠性和高吞吐率的服务。 HDFS的优点：高容错性：数据自动保存多个副本，hdfs默认的副本数量是3适合处理 阅读全文
posted @ 2021-12-11 22:59 Forever77 阅读(1080) 评论(0) 推荐(0) 编辑
hadoop集群安装
摘要：基础环境centos7.5，jdk-8u212-linux-x64、hadoop-3.1.3.tar.gz。 Hadoop 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 集群规划 一、基础环境准备 准备三台虚拟机，使 阅读全文
posted @ 2021-11-20 14:25 Forever77 阅读(79) 评论(0) 推荐(0) 编辑
hadoop基本介绍
摘要：四个主要模块： common：工具类，rpc框架 hdfs：分布式文件系统，主从架构 主上面的进程：namenode、secondarynamenode(不过一般不跟namenode在一个节点) 从上面的进程：datanode yarn：集群的资源调度框架，主从架构 主上面的进程：resourcem 阅读全文
posted @ 2021-07-09 11:40 Forever77 阅读(60) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示