摘要: 1. 满足高可用,唯一的办法是副本镜像方案。 2. 满足可伸缩,唯一的办法是分片方案。 3. 业界实践证明,先将全量数据分片,再对分片做多副本镜像这样的组合方案,在资源利用率、可用性、伸缩性各方面都很均衡。如HDFS、RedisCluster、RocketMQ等都是采用这种组合方案来存储数据的。 4 阅读全文
posted @ 2020-02-20 16:00 JaxYoun 阅读(610) 评论(0) 推荐(0) 编辑
摘要: HDFS架构(Master Slave) 几个进程的角色 1. nameNode(master):用于保存、管理、持久化文件的元数据(文件名、文件副本数、文件块大小、文件块列表),同时还要接收客户端的文件读写请求。 2. secondaryNameNode:用于实时同步文件元数据,给nameNode 阅读全文
posted @ 2020-02-20 15:50 JaxYoun 阅读(313) 评论(0) 推荐(0) 编辑
摘要: Yarn架构(Master Slave) 进程角色: resourceManager(Master):任务调度和集群资源管理。 nodeManager(Slave):单个节点的资源管理。 applicationMaster:为任务程序申请资源,任务程序运行状态监控、错误恢复。 container:对 阅读全文
posted @ 2020-02-20 15:48 JaxYoun 阅读(279) 评论(0) 推荐(1) 编辑
摘要: 顾名思义 zookeeper 就是动物园管理员,他是用来管 hadoop(大象)、Hive(蜜蜂)、pig(小 猪)的管理员, Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper;Zookeeper: 是一个分布式的、开源的程序协调服务,是 hadoop 阅读全文
posted @ 2020-02-20 15:46 JaxYoun 阅读(399) 评论(0) 推荐(0) 编辑
摘要: 一、状态管理 firewalld的基本使用 查看状态:systemctl status firewalld 启动:systemctl start firewalld 停止:systemctl stop firewalld 启用:systemctl enable firewalld 禁用:system 阅读全文
posted @ 2020-02-20 15:44 JaxYoun 阅读(366) 评论(0) 推荐(0) 编辑
摘要: 面向对象三大特性 封装: Encapsulation是指一种将抽象性函式接口的实现细节部份包装、隐藏起来的方法。封装可以被认为是一个保护屏障,防止该类的代码和数据被外部类定义的代码随意访问。要访问该类的代码和数据,必须通过严格的接口控制。封装最主要的功能在于我们能修改自己的实现代码,而不用修改那些调 阅读全文
posted @ 2020-02-20 12:53 JaxYoun 阅读(401) 评论(0) 推荐(0) 编辑
摘要: selinux是一个重要的lunux安全机制,存在于linuxKernel中,默认是开启的,会对用户行为做出多种限制,为了方便操作,有时候需要关闭它: 1. 查看selinux状态:/usr/sbin/sestatus。 2. 编辑/etc/selinux/config文件,将SELINUX=enf 阅读全文
posted @ 2020-02-20 12:48 JaxYoun 阅读(1113) 评论(0) 推荐(0) 编辑
摘要: 配置中心 传统配置管理方式是将配置放在各应用本地,应用启动时读取加载自己的配置文件。当应用数量增大、配置变更频繁、配置量增大时管理维护成本很高且易出错。配置中心就是一个集中管理管理和维护大量配置的专有服务,管理员只在这个特定的服务上维护这些配置信息,所有应用都到配置中心读取,发生变动时配置中心主动触 阅读全文
posted @ 2020-02-20 12:45 JaxYoun 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 分布式锁 借助数据库、Redis集群、Zookeeper集群作为辅助系统。 面临的问题: 1. 锁的一致性问题 :在集群式辅助系统中,必然会存在锁的并发读,由于集群内部的数据同步存在延迟,不同客户端进程读到的锁可能不一致。 Zookeeper天生支持最终一致性,能在一定程度上满足。 Redison借 阅读全文
posted @ 2020-02-20 12:43 JaxYoun 阅读(187) 评论(0) 推荐(0) 编辑
摘要: 通过yum安装mysql(5.x)后往往需要进行一些安全类的初始化设置: 1. 安装完数据库后执行mysql_secure_installation命令,会出现安全相关的交互界面。 2. 按提示操作。 阅读全文
posted @ 2020-02-20 12:42 JaxYoun 阅读(383) 评论(0) 推荐(0) 编辑