天行者之眼

摘要： 参考：https://blog.csdn.net/gcxzflgl/article/details/80725567 java程序模拟产生日志的过程 package com.dtds.study.log4j; import java.util.Date; import org.apache.log4 阅读全文

摘要： 参考： https://blog.csdn.net/u011414200/article/details/50358603 HDFS的工作流程分析：https://blog.csdn.net/z66261123/article/details/51194204 NameNode 元数据相关文件目录架 阅读全文

摘要： 参考： HDFS的工作流程分析：https://blog.csdn.net/z66261123/article/details/51194204 Hadoop核心-HDFS读写流程：https://yq.aliyun.com/articles/325428 HDFS读数据流程概述 客户端将要读取的文 阅读全文

摘要： 参考： HDFS写文件过程分析http://shiyanjun.cn/archives/942.html HDFS的工作流程分析https://blog.csdn.net/z66261123/article/details/51194204 简单搞定hdfs读写流程https://blog.csdn 阅读全文

摘要： 代码地址：https://github.com/zengfa1988/study/blob/master/src/main/java/com/study/hadoop/hdfs/HdfsTest.java 1，导入jar包用maven构建项目，添加pom文件： 测试时可导入Junit： 2，获取文件 阅读全文

摘要： 集群环境中，可以在任意一个节点上通过命令行操作hdfs，hdfs命令很多都跟Linux文件系统命令一样，只是都要加上hadoop fs。可通过hadoop fs -help查看hdfs命令： 1，列出目录： hadoop fs -ls / 2，创建目录： hadoop fs -mkdir /stud 阅读全文

摘要： 环境介绍 服务器软件版本 操作系统 CentOS 6.5 x86_64 Java 1.7.0_79 hadoop 2.6.1 hadoop各个节点集群架构 主机名 ip 角色 hadoop01 192.168.103.137 ResourceManager/NameNode/SecondaryNam 阅读全文

摘要： hadoop有三种运行模式： 1，本地运行模式：hadoop的默认模式，没有守护进程，所有的程序都在同一个jvm里运行，在该模式下调试MR程序非常方便。 2，伪分布式模式，所有进程运行在一台服务器，效果跟分布式模式一样。 3，分布式模式：进程运行在多台服务器上。 一、本地运行模式： 这是hadoop 阅读全文

摘要： 一、大数据： 大数据包括巨大规模（Volume）、超高速度（Velocity）、类型可扩展（Variety）的数据，即3V，大数据包括三种类型的数据： 1）结构化数据：关系型数据 2）半结构化数据：XML数据 3）非结构化数据：Word文档、PDF文档、文本、媒体日志 二、hadoop： hadoo 阅读全文

摘要： 一、ZooKeeper相关概念简介： ZooKeeper是一个开源的、分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标 阅读全文