Bingmous

Kafka学习笔记（整理）

摘要： [TOC] # Kafka概述 - 定义：分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 - 消息队列的好处： - 解耦：允许独立的扩展或修改数据生产者消费者，只需要确保同样的接口约束。 - 可恢复性：一部分组件失效，不会影响整个系统。消息队列降低进程间的耦合度，即使一个处理消阅读全文

posted @ 2020-07-25 23:51 Bingmous 阅读(57) 评论(0) 推荐(0) 编辑

Flume学习笔记

摘要：第1章 Flume概述 Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单基础架构 Agent是一个 JVM 进程，它以事件的形式将数据从源头送至目的。主要有三部分组成：... 阅读全文

posted @ 2020-07-23 23:04 Bingmous 阅读(32) 评论(0) 推荐(0) 编辑

Hive学习笔记

摘要：第1章 Hive基本概念 Hive是基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL 查询功能Hive架构原理：解析器、编译器、优化器、执行器，HDFS存储，MR运算，元数据存在关系型数据库中Hive与关系型数据库的比较... 阅读全文

posted @ 2020-07-21 15:30 Bingmous 阅读(42) 评论(0) 推荐(0) 编辑

Hadoop - HA学习笔记

摘要： Hadoop HA概述工作要点通过双NameNode消除单点故障元数据管理方式需要改变：内存中各自保存一份元数据；Edits 日志只有 Active 状态的NameNode节点可以做写操作；两个 NameNode都可以读取 Edits；共享的Edits放在... 阅读全文

posted @ 2020-07-17 19:49 Bingmous 阅读(56) 评论(0) 推荐(0) 编辑

Zookeeper学习笔记（整理）

摘要：第1章 ZooKeeper入门 Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的Apache 项目。ZooKeeper=文件系统+通知机制第2章 ZooKeeper安装安装jdk解压ZooKeeper配置修改：修改/opt/module/zookeeper-3.4.10/c 阅读全文

posted @ 2020-07-16 10:47 Bingmous 阅读(28) 评论(0) 推荐(0) 编辑

vmware启动后虚拟机无法联网

摘要：搜索services.msc打开服务确认VMware NAT service和VMware DHCP service服务处于启动状态；开启自动启动，下次就会自动联网了。 VMware Authorization Service服务也设置自动开启，可以使VMw... 阅读全文

posted @ 2020-07-15 14:21 Bingmous 阅读(16) 评论(0) 推荐(0) 编辑

Hadoop - MapReduce学习笔记（详细）

摘要：第1章 MapReduce概述定义：是一个分布式运算程序的编程框架优缺点：易于编程、良好的扩展性、高容错性、适合PB级以上数据的离线处理核心思想：MapReduce 编程模型只能包含一个Map 阶段和一个Reduce 阶段MapReduce进程：MrAppM... 阅读全文

posted @ 2020-07-15 10:00 Bingmous 阅读(74) 评论(0) 推荐(0) 编辑

maven配置及使用（整理）

摘要：目录Maven介绍Maven安装与配置安装修改本地仓库地址配置远程仓库地址idea中maven配置maven变量maven命令maven打包springboot项目使用spring-boot-maven-plugin打包可执行jar使用maven-assembly-plugin打包为可执行jar依赖阅读全文

posted @ 2020-07-07 16:39 Bingmous 阅读(405) 评论(0) 推荐(0) 编辑

Hadoop - HDFS学习笔记（详细）

摘要：第1章 HDFS概述 hdfs背景意义 hdfs是一个分布式文件系统使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。优缺点高容错性，适合处理大数据（数据PB级别，百万规模文件），可部署在廉价机器上不适合低时延数据访问，无法高效存储大量小文件，不支持并发写入、随机修改（仅追加） h 阅读全文

posted @ 2020-07-07 10:58 Bingmous 阅读(110) 评论(0) 推荐(0) 编辑

hdfs刷新节点失败，未显示Refresh nodes successful

摘要：使用命令：hdfs dfsadmin -refreshNodes 没有显示Refresh nodes successful，而是：refreshNodes: /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclu... 阅读全文

posted @ 2020-07-06 23:20 Bingmous 阅读(86) 评论(0) 推荐(0) 编辑

导航

公告