2021年1月18日

HADOOP之YARN简介

摘要： yarn的诞生：hadoop1.x版本JobTracker的作用是资源管理和任务的调度，当存在多个计算框架时，比如说spark，如果两个计算框架都有着自己的资源管理模块，就会存在资源竞争，不便于管理。此时就需要一个公共的资源管理模块，这就产生了YARN. hadoop2.x上的mapreduce是基阅读全文

posted @ 2021-01-18 21:32 金色的鱼儿阅读(746) 评论(0) 推荐(0) 编辑

Hadoop之HDFS中HA的搭建

摘要： Hadoop 1.0存在的问题：单点故障和内存受限（1）NameNode单点故障（NameNode只有一个，一旦宕机了，则数据就会丢失，虽然有配置SecondaryNameNode，但是SecondardyNameNode 合并元数据和日志文件需要时间的，所有还是会有部分数据会丢失）（2）Nam 阅读全文

posted @ 2021-01-18 21:12 金色的鱼儿阅读(392) 评论(0) 推荐(0) 编辑

Hadoop 完全分布式搭建

摘要：一、安装一台全新的Redhat 。二、更改静态IP地址（1）获取本机IP地址， ifconfig -a (2) 更改hosts 文件 vim /etc/hosts （3）更改hostname vim /etc/sysconfig/network （4）配置静态IP地址 vim /etc 阅读全文

posted @ 2021-01-18 21:08 金色的鱼儿阅读(111) 评论(0) 推荐(0) 编辑

Hadoop HA 模式搭建

摘要：一、 Hadoop 集群架构设计二、搭建集群修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。三、修改配置文件修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names 阅读全文

posted @ 2021-01-18 21:01 金色的鱼儿阅读(117) 评论(0) 推荐(0) 编辑

一篇搞懂Sqoop

摘要： Sqoop产生背景（一） Sqoop 的产生主要源于： 1、目前很多使用hadoop技术的企业，有大量的数据存储在传统关系型数据库中。 2、早期由于工具的缺乏，hadoop与传统数据库之间的数据传输非常困难。 1）传统数据库中的数据导入到hadoop中，便于廉价的分析与处理 2）hadoop中的数据阅读全文

posted @ 2021-01-18 20:36 金色的鱼儿阅读(1681) 评论(0) 推荐(0) 编辑

解决Maven重复依赖问题（同一个jar，多个版本）

摘要：问题描述现在开发项目，一般都会创建maven工程，用它来管理依赖实在是方便了，当然它还有其它用途。但是在实际的情况中往往会有重复依赖的问题，比如创建的工程A，依赖了b-1.0.jar，而b-1.0.jar又依赖了d-1.0.jar（这个我们本身是不能直接看到的），同时我们自己的工程又依赖了d-2. 阅读全文

posted @ 2021-01-18 16:28 金色的鱼儿阅读(8120) 评论(0) 推荐(0) 编辑

HADOOP基础学习四（用JAVA将HDFS中的数据插入到MYSQL中）

摘要：一、从主节点中查看要插入的文件在HDFS上的元信息数据并没有存放在主节点中，主节点用于维护文件系统，存放元信息（文件的属性，路径，大小，在DN上的位置信息等）二、在MYSQL中建好表用于插入数据三、编写代码 java中要有Hadoop和数据库的依赖包 package hdfs; import 阅读全文

posted @ 2021-01-18 15:45 金色的鱼儿阅读(465) 评论(0) 推荐(0) 编辑

文件存储HDFS和数据库MySQL双向数据迁移

摘要：本文档介绍如何使用Sqoop工具实现文件存储HDFS和关系型数据库MySQL之间的双向数据迁移。背景信息 Sqoop是一款开源的工具，主要用于在Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据。既可以将一个关系型数据库（MySQL 、Oracle 、Postgres等）中的数据导阅读全文

posted @ 2021-01-18 15:41 金色的鱼儿阅读(635) 评论(0) 推荐(0) 编辑

Hadoop中HDFS是怎么维护数据的

摘要： HDFS文件的系统中，是将文件分为多个block进行存储的，并将存储的block赋值多个副本，存储在不同的主机上，那么HDFS是怎么来维护这些数据的呢，文件是存储在哪里？首先，hafs文件系统中，文件是存储在哪里。很多人会说，当然存储在磁盘上，如果真的只是存储存在磁盘上，那么从hdfs中读取文件阅读全文

posted @ 2021-01-18 15:05 金色的鱼儿阅读(315) 评论(0) 推荐(0) 编辑

大数据之Hbase（一）：HBase简介、BigTable、面向列的数据库、非结构化数据存储、HBase在Hadoop生态中的地位、 HBase与HDFS、HBase使用场景

摘要：文章目录 5.1 HBase简介什么是HBase BigTable 面向列的数据库什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo 阅读全文

posted @ 2021-01-18 15:03 金色的鱼儿阅读(624) 评论(0) 推荐(0) 编辑

2021年1月18日

公告