HDFS
摘要：1.Client：就是客户端 文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的 Block，然后进行上传 与 NameNode 交互，获取文件的位置信息 与 DataNode 交互，读取或者写入数据 Client 提供一些命令来管理 HDFS，比如 NameNode 格式化
阅读全文
posted @ 2021-09-24 21:27
随笔分类 - Hadoop
Hadoop的高可用搭建
摘要：在已经安装完hadoop单机和zookeeper前提下 1.免密钥 在node1下。因为node1作为备用主机，并且master我已经实现了免密 ssh-keygen -t rsa 分发秘钥 ssh-copy-id -i master ssh-copy-id -i node1 ssh-copy-id
阅读全文
posted @ 2021-09-24 19:56
zookeeper的JAVA API使用
摘要：1.创建连接 2.创建节点 3.监听信息 Watcher.class 4.获取节点 Stat stat = new Stat(); zk.getData(Path,true,stat); 5.修改节点数据 -1表示忽略版本 zk.setData("/test1", "testok".getBytes
阅读全文
posted @ 2021-09-24 18:27
zookeeper安装
摘要：1.解压 tar -xvf zookeeper-3.4.6.tar.gz -C /usr/local/soft/ 2.配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 export PATH=$
阅读全文
posted @ 2021-09-23 18:27
WordCount基于本地和java的使用
摘要：直接使用hadoop中的wordcount中的jar包进行使用 JAVA实现WordCount import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.F
阅读全文
posted @ 2021-09-23 00:15
HDFS连接JAVA，HDFS常用API
摘要：先在pom.xml中导入依赖包 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --> <dependency> <groupId>org.apache.hadoop</grou
阅读全文
posted @ 2021-09-18 21:44
HDFS基本命令
摘要：1.创建目录 hadoop dfs -mkdir /data hadoop dfs -mkdir -p /data/data1 创建多级目录 2.查看文件 hadoop dfs -ls / 3.上传文件 hadoop dfs -put /usr/local/data/ /data 4.下载文件 ge
阅读全文
posted @ 2021-09-18 19:54
Hadoop 2.x安装
摘要：1、关闭防火墙 systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态firewall-cmd --state systemctl status f
阅读全文
posted @ 2021-09-17 20:23
