摘要：
datanode启动后 扫描本地块的信息 汇报给namenode 心跳机制 datanode每隔三秒汇报给namenode 检查点（运行时主要由secondarynamenode完成） 它从磁盘读取FsImage和EditLog，将EditLog中的所有事务应用到FsImage的内存中表示，并将此新 阅读全文
摘要：
hdfs的设计理念 硬件故障是常态而非例外。HDFS实例可能包含数百或数千台服务器计算机，每台计算机都存储文件系统数据的一部分。事实上，存在大量组件并且每个组件具有非平凡的故障概率意味着HDFS的某些组件始终不起作用。 因此，检测故障并从中快速自动恢复是HDFS的核心架构目标。 在HDFS上运行的应 阅读全文
摘要：
学好hadoop不是一朝一夕的事情此文档简略仅适用于初入门做了解使用，若想深入学习请使用《hadoop权威指南》 hadoop模块： Hadoop Common：支持其他Hadoop模块的常用实用程序。 Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问 阅读全文
摘要：
设计原则 设计原则是在进行软件系统设计时所要遵循的一些经验准则，应用该准则的目的通常是为了避免某些经常出现的设计缺陷。 单一职责原则 （Single responsibility principle） 不要存在多于一个导致类变更的原因。对类来说的，即一个类应该只负责一项职责。 开闭原则（Open 阅读全文
摘要：
hadoop总结1 - - MapReduce和HDFSHadoop是一个分布式的集群环境，它不需要我们深入了解许多分布式平台的细节，直接帮我们在上面搭建好了一个平台。Hadoop的核心是HDFS和MapReduce。当然，Hive, hbase, storm, spark等技术，也都是基于hado 阅读全文
摘要：
一、引言首先说明一下，本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样，那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。本机的配置环境如下：Hadoop(3.1.1)Ubuntu Linux(64位系统) 二、安装ssh服务ubu 阅读全文
摘要：
机器学习/R R： 用于统计分析、绘图的语言和操作环境，目前有Hadoop-R mahout： 提供可扩展的机器学习领域经典算法的实现，包括聚类、分类、推荐过滤、频繁子项挖掘等，且可通过Hadoop扩展到云中。 四、storm Storm： 分布式，容错的实时流式计算系统，可以用作实时分析，在线机器 阅读全文
摘要：
安装hadoop 在 hadoop102 安装 HadoopHadoop 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 1 ） 用 XShell 文件传输 工具将 hadoop-3.1.3.tar.gz 导入到 op 阅读全文
摘要：
申请加分： 老师提出的任务积极完成，积极打卡，上课态度认真，每次都到课，从不旷课， 积极参加团队，完成团队作业 参加互联网+比赛，可能会冲进省赛； 蓝桥杯获得省三。 阅读全文