摘要: 1.5.6 NN与2NN 1.5.6.1 HDFS元数据管理机制 问题1:NameNode如何管理和存储元数据? 计算机中存储数据两种:内存或者是磁盘 元数据存储磁盘:存储磁盘无法面对客户端对元数据信息的任意的快速低延迟的响应,但是安全性高 元数据存储内存:元数据存放内存,可以高效的查询以及快速响应 阅读全文
posted @ 2022-12-10 08:45 假装文艺范儿 阅读(218) 评论(0) 推荐(0) 编辑
摘要: 1.5.5 HDFS读写解析 1.5.5.1 HDFS读数据流程 客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据, 找到文件块所在的DataNode地址。 挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。 Da 阅读全文
posted @ 2022-12-09 08:29 假装文艺范儿 阅读(160) 评论(0) 推荐(0) 编辑
摘要: 全网最全的linux上docker安装oracle的详细文档,遇到了n个问题,查了几十篇文章,最终汇总版,再有解决不了的,私聊我,我帮你解决 1. 拉取阿里镜像oracle docker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11 阅读全文
posted @ 2022-12-08 17:57 假装文艺范儿 阅读(1314) 评论(0) 推荐(1) 编辑
摘要: 1.5.4 HDFS 客户端操作 1.5.4.1 Shell 命令行操作HDFS 基本语法 ​ bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 命令大全 [root@linux121 hadoop-2.9.2]# bin/hdfs dfs Usage: hadoop 阅读全文
posted @ 2022-12-07 08:57 假装文艺范儿 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 1.5 HDFS分布式文件系统 1.5.1 HDFS 简介 HDFS(全称:Hadoop Distribute File System,Hadoop 分布式文件系统)是 Hadoop 核心组成,是分布式存储服务。 分布式文件系统横跨多台计算机,在大数据时代有着广泛的应用前景,它们为存储和处理超大规模 阅读全文
posted @ 2022-12-06 19:23 假装文艺范儿 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 1.4 Apache Hadoop 完全分布式集群搭建 软件和操作系统版本 Hadoop框架是采用Java语言编写,需要java环境(jvm) JDK版本:JDK8版本 集群: 知识点学习:统一使用vmware虚拟机虚拟三台linux节点,linux操作系统:Centos7 生产阶段:建议最少5台服 阅读全文
posted @ 2022-12-05 09:22 假装文艺范儿 阅读(623) 评论(0) 推荐(0) 编辑
摘要: 1.3 Apache Hadoop的重要组成 Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块 Hadoop HDFS:(Hadoop Distribute File System )一个高可靠、高吞吐量的分布式文件系统 比如 阅读全文
posted @ 2022-12-04 09:18 假装文艺范儿 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 1.2 Hadoop简介 1.2.1 什么是Hadoop ​ Hadoop 是一个适合大数据的分布式存储和计算平台 ​ 如前所述,狭义上说Hadoop就是一个框架平台,广义上讲Hadoop代表大数据的一个技术生态 圈,包括很多其他软件框架 ​ Hadoop生态圈技术栈 ​ Hadoop(HDFS + 阅读全文
posted @ 2022-12-03 16:10 假装文艺范儿 阅读(355) 评论(0) 推荐(1) 编辑
摘要: 1 hadoop-最全最完整的保姆级的java大数据学习资料 大数据技术解决的是什么问题? 大数据技术解决的主要是海量数据的存储和计算。 Hadoop的广义和狭义之分 狭义的Hadoop:指的是一个框架,Hadoop是由三部分组成:HDFS:分布式文件系统--> 存储; MapReduce:分布式离 阅读全文
posted @ 2022-12-02 23:36 假装文艺范儿 阅读(530) 评论(0) 推荐(0) 编辑
摘要: 9.3 保险产品准入规则 全套代码及资料全部完整提供,点此处下载 9.3.1 决策表 前面我们编写的规则文件都是drl形式的文件,Drools除了支持drl形式的文件外还支持xls格式的文件(即Excel文件)。这种xls格式的文件通常称为决策表(decision table)。 决策表(decis 阅读全文
posted @ 2022-12-01 08:58 假装文艺范儿 阅读(334) 评论(0) 推荐(0) 编辑