HDFS
摘要：
1.Client：就是客户端 文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的 Block，然后进行上传 与 NameNode 交互，获取文件的位置信息 与 DataNode 交互，读取或者写入数据 Client 提供一些命令来管理 HDFS，比如 NameNode 格式化 阅读全文
posted @ 2021-09-24 21:27 糟糟张 阅读(69) 评论(0) 推荐(0) 编辑
2021年9月24日 #
Hadoop的高可用搭建
摘要：
在已经安装完hadoop单机和zookeeper前提下 1.免密钥 在node1下。因为node1作为备用主机，并且master我已经实现了免密 ssh-keygen -t rsa 分发秘钥 ssh-copy-id -i master ssh-copy-id -i node1 ssh-copy-id 阅读全文
posted @ 2021-09-24 19:56 糟糟张 阅读(186) 评论(0) 推荐(0) 编辑
zookeeper的JAVA API使用
摘要：
1.创建连接 2.创建节点 3.监听信息 Watcher.class 4.获取节点 Stat stat = new Stat(); zk.getData(Path,true,stat); 5.修改节点数据 -1表示忽略版本 zk.setData("/test1", "testok".getBytes 阅读全文
posted @ 2021-09-24 18:27 糟糟张 阅读(128) 评论(0) 推荐(0) 编辑
2021年9月23日 #
zookeeper安装
摘要：
1.解压 tar -xvf zookeeper-3.4.6.tar.gz -C /usr/local/soft/ 2.配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 export PATH=$ 阅读全文
posted @ 2021-09-23 18:27 糟糟张 阅读(101) 评论(0) 推荐(0) 编辑
WordCount基于本地和java的使用
摘要：
直接使用hadoop中的wordcount中的jar包进行使用 JAVA实现WordCount import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.F 阅读全文
posted @ 2021-09-23 00:15 糟糟张 阅读(68) 评论(0) 推荐(0) 编辑
2021年9月18日 #
HDFS连接JAVA，HDFS常用API
摘要：
先在pom.xml中导入依赖包 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --> <dependency> <groupId>org.apache.hadoop</grou 阅读全文
posted @ 2021-09-18 21:44 糟糟张 阅读(349) 评论(0) 推荐(0) 编辑
HDFS基本命令
摘要：
1.创建目录 hadoop dfs -mkdir /data hadoop dfs -mkdir -p /data/data1 创建多级目录 2.查看文件 hadoop dfs -ls / 3.上传文件 hadoop dfs -put /usr/local/data/ /data 4.下载文件 ge 阅读全文
posted @ 2021-09-18 19:54 糟糟张 阅读(1241) 评论(0) 推荐(0) 编辑
2021年9月17日 #
Hadoop 2.x安装
摘要：
1、关闭防火墙 systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态firewall-cmd --state systemctl status f 阅读全文
posted @ 2021-09-17 20:23 糟糟张 阅读(83) 评论(0) 推荐(0) 编辑
redis的集群安装
摘要：
1、创建安装目录 在master ,node1 ,node2中分别创建 mkdir /usr/local/soft/redis-cluster 2、将redis 复制到redis-cluster 目录下修改名字为7000 cp -r /usr/local/soft/redis /usr/local/ 阅读全文
posted @ 2021-09-17 16:35 糟糟张 阅读(161) 评论(0) 推荐(0) 编辑
2021年9月13日 #