摘要：
一、问题描述 1.在使用Maven创建web工程的时候发现默认web.xml版本居然是2.4的，这个版本连EL表达式都用不了，所以很是糟心 2.所以为了解决Idea创建Maven Web工程的web.xml版本问题，给大家提供了三种解决办法 二、问题解决 1、暂时解决（问题可解决 但不推荐） 解决方 阅读全文
摘要：
一、Hadoop-Mapreduce 1. MapReduce 介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行 阅读全文
摘要：
名称 大二暑假学习总结04 所花时间 40h左右 有效代码量 1000行左右 博客量 8篇 收获和目标 收获： shell编程、Zookeeper、Hadoop 的核心之一-HDFS：包括hdfs命令行的使用， 文件的读写，以及API的相关操作 目标： 继续学习Hadoop的另一核心MapReduc 阅读全文
摘要：
一、HDFS 的 API 操作 导入maven依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.5</vers 阅读全文
摘要：
1、HDFS 文件写入过程 2、HDFS 文件读取过程 3、HDFS 的元数据辅助管理 当 Hadoop 的集群当中, NameNode的所有元数据信息都保存在了 FsImage 与 Eidts 文件当中, 这两个文件就记录了所有的数据的元数据信息 edits edits 存放了客户端最近一段时间的 阅读全文
摘要：
一、hdfs的高级使用命令 hdfs dfs -count -q -h /user/root/dir1 #查看配额信息 1、数量限额 hdfs dfs -mkdir -p /user/root/dir #创建hdfs文件夹 hdfs dfsadmin -setQuota 2 dir # 给该文件夹下 阅读全文
摘要：
一、hdfs的命令行使用 1、ls 格式：hdfs dfs -ls URI 作用：类似于Linux的ls命令，显示文件列表 2、-ls -R 格式 : hdfs dfs -ls -R URI 作用: 在整个目录下递归执行ls, 与UNIX中的ls-R类似 3、mkdir 格式：hdfs dfs [- 阅读全文
摘要：
Hadoop 核心-HDFS 一、HDFS概述 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在 集群上的文件系统称为分布式文件系统 。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hado 阅读全文
摘要：
一、Znode节点属性 dataVersion：数据版本, 每次当 Znode 中的数据发生变化的时候, dataVersion都会自增一下cversion：节点版本, 每次当 Znode 的节点发生变化的时候, cversion 都会自增aclVersion：ACL(Access Control 阅读全文
摘要：
一、Zookeeper 1、Zookeeper理解 概念：Zookeeper 是一个开源的分布式协调服务框架 ，主要用来解决分布式集群中应用系统的一致性问题和数据管理问题 特点：Zookeeper 本质上是一个分布式文件系统, 适合存放小文件，也可以理解为一个数据库。 Zookeeper 中存储的其 阅读全文