摘要：
1.client端向namenode请求上传文件，查看文件是否存在，是否有权限往hdfs写入 2.如果文件不存在，权限OK就根据副本数N（例如2个），根据网络拓扑选择N个离client端最近的datanode返回client。 （把文件切块，一个一个block块的请求namenode，返回最优的da 阅读全文
摘要：
当我们正确地部署好Spark Streaming，我们就可以使用Spark Streaming提供的零数据丢失机制。需要满足以下几个先决条件： 1、输入的数据来自可靠的数据源和可靠的接收器； 2、应用程序的metadata被application的driver持久化了(checkpointed ); 阅读全文
摘要：
集群配置： jdk1.8.0_161 hadoop-2.6.1 zookeeper-3.4.8 linux系统环境：Centos6.5 3台主机：master、slave01、slave02 Hadoop HA集群搭建（高可用）： 设置静态IP地址 为普通用户添加sudo权限 服务器网络设置：NAT 阅读全文
摘要：
版本 zookeeper-3.4.8 下载 zookeeper-3.4.8.tar.gz 通过SFTP上传到master 解压 tar -zxvf zookeeper-3.4.8.tar.gz -C /home/dummy/app 配置环境变量 vi ~/.bash_profile source ~ 阅读全文
摘要：
集群配置： jdk1.8.0_161 hadoop-2.6.1 linux系统环境：Centos6.5 创建普通用户 dummy 准备三台虚拟机master，slave01，slave02 hadoop完全分布式集群的搭建： 设置静态IP地址 为普通用户添加sudo权限 服务器网络设置：NAT模式 阅读全文
摘要：
集群配置： jdk1.8.0_161 hadoop-2.6.1 linux系统环境：Centos6.5 创建普通用户 dummy 设置静态IP地址 Hadoop伪分布式集群搭建： 为普通用户添加sudo权限： 设置之前必须得安装sudo，先su 输入密码进入root用户，执行 yum install 阅读全文