摘要：
今天按照老师的要求，注册并使用一下爱数科。 对爱数科中的例子进行学习，发现爱数科是一个功能很强大的平台，以后我可以在这个平台上学习到更多的知识。 阅读全文
摘要：
今天了解MapReduce的部分知识。 MapReduce 核心思想 （1）分布式的运算程序往往需要分成至少 2 个阶段。（2）第一个阶段的 MapTask 并发实例，完全并行运行，互不相干。（3）第二个阶段的 ReduceTask 并发实例互不相干，但是他们的数据依赖于上一个阶段的所有 MapTa 阅读全文
摘要：
今天了解一下MapReduce。 MapReduce 定义MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 阅读全文
摘要：
模型驱动设计 在平常，我们使用的最多的开发思路就是 CRUD，各种信息管理系统都可以看作是对数据库增删查改的封装，在应对小的项目的时候，CRUD 可真是神器，不管三七二十一，一把梭，第一期就完成了。但是随着客户需求的变更与增多，问题随之而来。为什么会导致这样的问题？作者给出的解释是，开发人员对业务没 阅读全文
摘要：
今天学习DataNode 工作 机制： 1）一个数据块在 DataNode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode 启动后向 NameNode 注册，通过后，周期性（6 小时）的向 NameNode 上 阅读全文
摘要：
今天了解NN和2NN工作机制： 1 ） 第一 阶段：NameNode 启动（1）第一次启动 NameNode 格式化后，创建 Fsimage 和 Edits 文件。如果不是第一次启 动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）NameNode 记录操作日志，更新 阅读全文
摘要：
今天了解学下下HDFS的读数据流程： （1）客户端通过 DistributedFileSystem 向 NameNode 请求下载文件，NameNode 通过查询元数据，找到文件块所在的 DataNode 地址。（2）挑选一台 DataNode（就近原则，然后随机）服务器，请求读取数据。（3）Dat 阅读全文
摘要：
今天刚回学校，没有学习多少新的知识，了解下HDFS的写数据流程 （1）客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检 查目标文件是否已存在，父目录是否存在。（2）NameNode 返回是否可以上传。（3）客户端请求第一个 Blo 阅读全文
摘要：
这周是假期的最后一周，也完成Hadoop的API操作，就是从java连接Hadoop。 客户端环境 准备1）找到资料包路径下的 Windows 依赖文件夹，拷贝 hadoop-3.1.0 到非中文路径（比如 d:\）。2 ） 配置 HADOOP_HOME 环境 变量 3 ） 配置 Path 环境 变 阅读全文
摘要：
最近读了《代码整洁之道》这本书，结合自己学习经验，对代码整洁的重要性有了一些新的理解与感悟。首先我想先谈谈什么是整洁的代码，从字面意思上理解，整洁的代码，对于程序员来说非常的一目了然，简单、整洁，结构清晰，逻辑清楚。那么整洁的代码到底对一个项目的影响有多大？对于这个问题没有明确的数据支撑我给出答案， 阅读全文