Fork me on GitHub
上一页 1 2 3 4 5 6 7 8 9 10 ··· 32 下一页
摘要: 1. MapReduce 定义 MapReduce 是一个 分布式运算程序 的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce 核心功能是将 用户编写的业务逻辑代码和自带默认组件 整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。 2. MapR 阅读全文
posted @ 2019-05-29 21:13 小a的软件思考 阅读(918) 评论(0) 推荐(0) 编辑
摘要: 1. 工作机制 1. 一个数据块在 DataNode 上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。 2. DataNode 启动后向 NameNode 注册,通过后,周期性(1小时)的向 NameNode 上报所有的块信息。 3. 阅读全文
posted @ 2019-05-29 12:14 小a的软件思考 阅读(390) 评论(0) 推荐(0) 编辑
摘要: 1. NN 和 2NN 工作机制 NameNode 会产生在磁盘中备份元数据的FsImage; 每当元数据有更新或者添加数据时,修改内存中的元数据并追加到Edits中; SecondaryNameNode 专门用于合并 FsImage 和 Edits; 2. Fsimage 和 Edits 解析 查 阅读全文
posted @ 2019-05-29 00:10 小a的软件思考 阅读(1195) 评论(0) 推荐(0) 编辑
摘要: 1. HDFS 写数据流程 1. 客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件, NameNode 检查目标文件是否已存在,父目录是否存在; 2. NameNode 返回是否可以上传; 3. 客户端请求NameNode,获取第一个 Block 上传 阅读全文
posted @ 2019-05-28 21:48 小a的软件思考 阅读(921) 评论(0) 推荐(0) 编辑
摘要: 1. 文件上传 2. 操作过程中遇到的BUG "File /0526/noodles/testUpload.txt could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) 阅读全文
posted @ 2019-05-28 20:25 小a的软件思考 阅读(475) 评论(0) 推荐(0) 编辑
摘要: 1. HDFS 客户端环境准备 1.1 "windows 平台搭建 hadoop 2.8.5" 2. 创建Maven工程 2.1 配置 2.2 创建HDFSClient类 2.2.1 异常处理 “Permission denied” 2.3 HDFSClient类(升级版) 参考资料: "Hadoo 阅读全文
posted @ 2019-05-26 20:56 小a的软件思考 阅读(2873) 评论(0) 推荐(0) 编辑
摘要: 1. 源码编译原因 Apache Hadoop 官方提供的是32位源码,而Windows为64位; 2. 编译准备工作 Ubuntu(64位) jar 包准备(hadoop 源码, JDK8, maven, ant, protobuf) "hadoop 2.8.5 src.tar.gz" jdk 8 阅读全文
posted @ 2019-05-26 18:31 小a的软件思考 阅读(383) 评论(0) 推荐(0) 编辑
摘要: 1. 概述 HDFS是一种分布式文件管理系统。 HDFS的使用场景: 适合一次写入,多次读出的场景,且不支持文件的修改; 适合用来做数据分析,并不适合用来做网盘应用; 1.2 优缺点 优点: 高容错性 适合处理大数据 缺点: 不适合 低延时 数据访问; 无法高效的对大量 小文件 进行存储; 不支持并 阅读全文
posted @ 2019-05-26 15:37 小a的软件思考 阅读(346) 评论(0) 推荐(0) 编辑
摘要: 1. 默认配置文件: 存放于Hadoop对应的jar包中 core-default.xml hdfs-default.xml yarn-default.xml mapred-default.xml 2. 自定义配置文件: $HADOOP_HOME/etc/hadoop core-site.xml h 阅读全文
posted @ 2019-05-25 20:34 小a的软件思考 阅读(1201) 评论(0) 推荐(0) 编辑
摘要: 1. 打印摄氏度 参考资料: "The C Programming Language" "Exercise 1.9 Replace Continous blanks with a single blank" "K&R Exercise 1 9 (C)" 阅读全文
posted @ 2019-03-15 08:11 小a的软件思考 阅读(179) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 32 下一页