摘要:
没钱买各种昂贵的云服务器, 也不想花钱租用各种网络穿透的服务, 但是又希望可以随时从外网访问自己部署的一些集群/服务/游戏环境? 阅读全文
摘要:
hadoop在启动namenode和datanode之后,两者之间是如何联动了?datanode如何向namenode注册?如何汇报数据?namenode又如何向datanode发送命令? 心跳机制基础概念 心跳就是HDFS中从节点DataNode周期性的向名字节点DataNode做汇报,汇报自 阅读全文
摘要:
执行start-dfs.sh脚本后,集群是如何启动的? 本文阅读并注释了start-dfs脚本,以及datanode的启动主要流程流程源码。 DataNode 启动流程 脚本代码分析 start-dfs.sh中启动datanode的代码: # # datanodes (using default w 阅读全文
摘要:
执行start-dfs.sh脚本后,集群是如何启动的? 本文阅读并注释了start-dfs脚本,以及namenode和datanode的启动主要流程流程源码。 阅读源码前准备 源码获取 拉取Apache Hadoop官方源码 https://github.com/apache/hadoop 用ide 阅读全文
摘要:
第一部分 大数据简介 第一节 大数据的定义 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 第二节 大数据的特点 大数据的特点可以用IBM曾经提出的“5V”来描述,如下 阅读全文
摘要:
第一节 安装CentOS 7 安装环境: VMware虚拟机中( 建议入手正版软件哦 ) 软件安装版本以及下载地址: CentOS-7-x86_64-DVD-2009.iso 安装步骤 1.1 创建一台虚拟机 1.2 给虚拟机挂载操作系统 1.3 开启虚拟机并安装操作系统 install cento 阅读全文
摘要:
简介 docker是什么: Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目, 它是基于 dotCloud 公司多年云服务技术的一次革新, 并于 2013 年 3 月以 Apache 2.0 授权协议开源, 主要项目代码在 GitHub 阅读全文
摘要:
Map 接口大致说明(jdk11): 整体介绍: 一个将键映射到值的(key-value)对象, 键值(key)不能重复, 每个键值只能影射一个对象(一一对应). 这个接口取代了Dictionary类,后者是一个完全抽象的类,而不是一个接口。 Map接口提供了三个集合视图(Set<K> keySet 阅读全文
摘要:
collection大致介绍 Collection是集合层次结构中的根接口。 集合表示一组对象。有些集合允许重复元素,有些则不允许。有些是有序的,有些是无序的。 JDK没有提供此接口的任何直接实现:它提供了更具体的子接口(如Set和List)的实现。 这个接口通常用于在需要最大通用性的地方传递和操作 阅读全文