摘要:
Quorum Journal Manager实现高可用 主备 HDFS高可用性功能通过提供在具有热备用的主动/被动配置中在同一群集中运行两个冗余NameNode的选项来解决。这样可以在机器崩溃的情况下快速故障转移到新的NameNode,或者出于计划维护的目的由管理员发起的正常故障转移。在典型的HA群 阅读全文
摘要:
一、环境 centOS7.6 redis5.0.7 二、命令 http://redisdoc.com/ https://segmentfault.com/a/1190000010999677#item-0-1 https://www.cnblogs.com/javastack/p/9854489.h 阅读全文
摘要:
一、OOM背景 疫情期间,大家都开始了远程办公。刚开始不适应,最后感觉还挺好的,不用每天挤地铁,住8平米的出租屋。 忽然有一天,系统报警邮件来了,运维也在群里艾特我,系统OOM了。其实写Java的同学如果自己负责的系统出现了OOM,是很尴尬的事情。 毕竟也是骨灰级玩家了,不慌不忙。考虑到远程机器的不 阅读全文
摘要:
提交记录contributions为什么会丢失? 很多朋友在提交本地项目到gihub时发现,仅仅在项目初始化时才会显示一条contributions,后续再commit就不会有了。这是因为: 进行Commits的用户、邮箱不是你的Github帐号的用户名和邮箱。 不是在这个版本库的默认分支进行的Co 阅读全文
摘要:
什么是Hash算法。 散列函数(英语:Hash function)又称散列算法、哈希函数,是一种从任何一种数据中创建小的数字“指纹”的方法。散列函数把消息或数据压缩成摘要,使得数据量变小,将数据的格式固定下来。该函数将数据打乱混合,重新创建一个叫做散列值(hash values,hash codes 阅读全文
摘要:
1、计算机存储信息的最小单位,位 bit (比特)(Binary Digits): 存放一位二进制数,即 0 或 1,最小的存储单位。 2、计算机存储容量基本单位是字节字节 byte: 8个二进制位(bit)为一个字节(B),最常用的单位。 (我也常说一个字节占8位) 一个英文字母(不分大小写)占一 阅读全文
摘要:
公司要开搞大数据了,针对大数据的一般姿势做了个简单调研。 一、通用架构 二、组件选择 1、Hdfs、HBase Hdfs:分布式文件存储,无缝对接所有大数据相关组件。高容错(多副本)、高吞吐。适合一次写入,多次读出。不适合低延迟读取、小文件存储(寻址时间超过读取时间)。 HBase:非关系型分布式数 阅读全文
摘要:
定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于 大数据实时处理领域。 使用消息队列的好处 1)解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2)可恢复性 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了 阅读全文
摘要:
基本命令 状态查看 git status 查看工作区、暂存区状态 添加 git add [file name] 将工作区的“新建/修改”添加到暂存区 提交 git commit -m "commit message" [file name] 将暂存区的内容提交到本地库 查看历史记录 git log 阅读全文
摘要:
一、作用域 依赖有效性/范围 依赖传递性 A 依赖 B,B 依赖 C,A 能否使用 C 呢?那要看 B 依赖 C 的范围是不是 compile,如果是则可用,否则不 可用。 二、父子工程 1、在子工程中引用父工程 <parent> <groupId>com.baker.learning</group 阅读全文