飞机耳朵

摘要： hdfs写入数据流程总结： 1、通过配置文件获取DistributedFileSystem实例 2、初始化校验和类型和大小 > 类型CRC32C，大小4byte //对每个chunk进行校验，chunk大小512字节 3、创建namenode元数据： 在DFSOutputStream中dfsClie 阅读全文

摘要： Maven： 构建工具(build):打包，导包，版本控制 mvn clean： 删除target文件夹 compile： 编译 package： 打包 mvn archetype:generate //生成项目骨架 maven的三级定位： groupId //org.apache.hadoop a 阅读全文

摘要： 节点的多目录配置： namenode：配置两个文件夹为工作目录(容错) //两文件夹数据相同 datanode：配置两个文件夹为工作目录(扩容) //两文件夹数据不同 namenode配置：hdfs-site.xml <property> <name>dfs.namenode.name.dir</n 阅读全文

摘要： hdfs数据块切割理论 hdfs中所有的文件都是以块为单位进行存储，一个块最大128M 块大小：数据寻道时间占用传输时间的1% 廉价硬件：普通的硬盘，普通的cpu等等 使用软件级别高可用替代硬件级别的高可用 去IOE活动：I：IBM小型机 33万人民币 O：Oracle 1核10W美元 E：EMC共 阅读全文

摘要： hadoop四大模块：common //hadoop核心类库hdfs //分布式存储模块mapreduce //分布式计算模块yarn //资源调度模块 hadoop相关端口：hdfs： namenode(50070) //名称节点 datanode(50075) //数据节点 secondaryn 阅读全文

摘要： hadoop四大模块： common //hadoop核心类库 hdfs //分布式存储模块 mapreduce //分布式计算模块 yarn //资源调度模块 hadoop相关端口： hdfs： namenode(50070) //名称节点 datanode(50075) //数据节点 secon 阅读全文