摘要：
DataNode 6.1 DataNode工作机制 （1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 （2）DataNode启动后向NameNode注册，通过后，周期性（6小时）的向NameNode上 阅读全文
摘要：
NameNode和SecondaryNameNode 5.1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存 阅读全文
摘要：
HDFS写数据流程 4.1.1 剖析文件写入 （1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 （2）NameNode返回是否可以上传。 （3）客户端请求第一个 Block上传到哪几个DataNo 阅读全文
摘要：
6.1 再议技术债务 >> 技术债务是修复已上线程序中结构质量问题的成本，如果这些问题不解决，组织清楚其带来的后果：后续升级开发失控或用户操作失灵 >> 常见的债务来源有 >> 进度压力逼迫开发团队走“捷径”，如程序中不写注释，造成后期理解的困难；测试不充分，导致产品中存在操作隐患等。 >> 过早地 阅读全文
摘要：
HDFS文件详情查看 查看文件名称、权限、长度、块信息 @Test public void testListFiles() throws IOException, InterruptedException, URISyntaxException { // 1获取文件系统 Configuration 阅读全文
摘要：
HDFS文件下载 @Test public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration 阅读全文
摘要：
5.1 应对变化的敏捷计划：波浪式的版本规划 >> 这个公式就是要求富士通的产品团队，争取以最小的代价为客户实现最大的价值。这也是敏捷的核心价值之一。 >> 通过MMF，你是在推销产品愿景，最小功能集是给有远见的客户而不是给所有人的。 5.2 Scrum迭代中的管理：频繁反馈，及时调整 >> Scr 阅读全文
摘要：
HDFS的API案例实操 3.2.1 HDFS文件上传（测试参数优先级） 1）编写源代码 @Test public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { 阅读全文
摘要：
HDFS的API操作 3.1 客户端环境准备 1）找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。 2）配置HADOOP_HOME环境变量 3）配置Path环境变量。 注意：如果环境变量不起作用，可以重启电脑试试。 验证Hadoop环境变量是否正常 阅读全文
摘要：
4.1 敏捷转型的布局规划 >> 重要布局决策： >> 管理层的主动支持至关重要，他们的期望是什么？通过什么方式、什么渠道向他们汇报敏捷执行情况？ 4.3 确定Scrum的角色 >> Scrum of Scrum的一个重要工作就是解耦，在分配用户故事给Scrum团队时，尽可能让每个Scrum团队的工 阅读全文