07 2022 档案
摘要:一、前言 DorisDB的介绍与环境部署(StarRocks)可以参考我之前的文章哦:大数据Hadoop之——DorisDB介绍与环境部署(StarRocks) 官方文档:https://docs.starrocks.com/zh-cn/main/loading/Loading_intro 二、简单
阅读全文
摘要:一、Apache Doris 和 DorisDB、StarRocks之间的关系 Doris 最早是解决百度凤巢统计报表的专用系统,随着百度业务的飞速发展对系统进行了多次迭代,逐渐承担起百度内部业务的统计报表和多维分析需求。2013 年,我们把 Doris 进行了 MPP 框架的升级,并将新系统命名为
阅读全文
摘要:一、概述 Elasticsearch是一个基于Lucene的搜索引擎。它提供了具有HTTP Web界面和无架构JSON文档的分布式,多租户能力的全文搜索引擎。Elasticsearch是用Java开发的,根据Apache许可条款作为开源发布。 二、节点类型&作用 1)master节点(主节点) 配置
阅读全文
摘要:一、Mysql中有哪几种锁? 1)表级锁 开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。 2)行级锁 开销大,加锁慢;会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度也最高。 3)页面锁 开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并
阅读全文
摘要:一、环境准备 | IP | 主机名 | 角色 |OS | | | | | | | 192.168.182.110 | local-168-182-110 | mysql master、MHA manager、MHA node | Centos7 | | 192.168.182.111 | local
阅读全文
摘要:一、概述 REmote DIctionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统,是跨平台的非关系型数据库。 Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式、可选持
阅读全文
摘要:一、什么是Redis Redis(Remote Dictionary Server) 是一个使用 C 语言编写的,开源的(BSD许可)高性能非关系型(NoSQL)的键值对数据库。 二、数据类型 1)String(字符串) string 是 redis 最基本的类型,你可以理解成与 Memcached
阅读全文
摘要:一、Kafka Streams概述 官网文档:https://kafka.apache.org/32/documentation/streams/ 1)Kafka Streams是什么 Kafka Streams是一套客户端类库,它建立在重要的流处理概念之上,它可以对存储在Kafka内的数据进行流式
阅读全文
摘要:一、概述 前面已经很详细的讲了kafka和zookeeper的安全机制和实现,如果它两配置了安全机制认证,EFAK作为监控kafka和zookeeper的图像化软件,必然也离不开对kafka和zookeeper安全认证的配置。 关于EFAK的介绍和安装部署可以参考我这篇文章:大数据Hadoop之——
阅读全文
摘要:一、概述 Kafka0.9.0开始引入丰富的安全认证机制,实现基础安全用户认证,将kafka上云或进行多租户管理的必要步骤安全,目前kafka支持SASL、SSL、Delegation Token这三种认证机制。而SASL认证又分为了以下几种方式: 1)SASL认证概述 SASL/GSSAPI:ke
阅读全文
摘要:一、Zookeeper概述与安装 Zookeeper概述与安装请参考我之前的文章:分布式开源协调服务——Zookeeper Zookeeper的安装方式有两种,两种方式都会讲,其实大致配置都是一样的,只是少部分配置有一丢丢的区别。kafka的鉴权认证可以参考我之前的文章:大数据Hadoop之——Ke
阅读全文
摘要:一、Kerberos概述与安装 Kerberos概述与安装可以参考我之前的文章:Kerberos认证原理与环境部署 二、Kafka Kerberos认证 Kafka安装可以参考我以前的文章: 大数据Hadoop之——Kafka 图形化工具 EFAK(EFAK环境部署) 分布式开源协调服务——Zook
阅读全文
摘要:一、概述 Kerberos是为TCP/IP网络系统设计的可信的第三方认证协议,用于身份认证。网络上的Keberos服务基于DES对称加密算法,但也可以用其他算法替代。因此,Keberos是一个在许多系统中获得广泛应用的认证协议。Keberos最初是美国麻省理工学院(MIT)为Athena项目开发的。
阅读全文
摘要:一、概述 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也
阅读全文
摘要:一、Kafka概述 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、st
阅读全文
摘要:一、CNCF简介 CNCF:全称Cloud Native Computing Foundation(云原生计算基金会),成立于2015年12月11日,是一个开源软件基金会,它致力于云原生(Cloud Native)技术的普及和可持续发展。 成立CNCF这个组织的初衷或者愿景,简单说: 推动云原生计算
阅读全文
摘要:一、Prometheus简介 Prometheus 最开始是由 SoundCloud 开发的开源监控告警系统,是 Google BorgMon 监控系统的开源版本。在 2016 年,Prometheus 加入 CNCF,成为继 Kubernetes 之后第二个被 CNCF 托管的项目。随着 Kube
阅读全文
摘要:一、ConfigMap概述 ConfigMap是k8s的一个配置管理组件,可以将配置以key-value的形式传递,通常用来保存不需要加密的配置信息,加密信息则需用到Secret,主要用来应对以下场景: 使用k8s部署应用,当你将应用配置写进代码中,就会存在一个问题,更新配置时也需要打包镜像,Con
阅读全文
摘要:一、概述 k8s API Server提供了k8s各类资源对象(pod,RC,Service等)的增删改查及watch等HTTP Rest接口,是整个系统的数据总线和数据中心。 kubernetes API Server的功能: 提供了集群管理的REST API接口(包括认证授权、数据校验以及集群状
阅读全文
摘要:一、概述 在1.8版本以后heapster由metrics-server替代;从k8s的v1.11版本开始已经全面转向以Prometheus为核心的新监控体系架构;kube-prometheus 中包含了 prometheus 监控所用到的所有组件,当然也包含 prometheus-operator
阅读全文
摘要:一、概述 我们可以将Helm看作Kubernetes下的apt-get/yum。Helm是kubernetes的包管理器,helm仓库里面只有配置清单文件,而没有镜像,镜像还是由镜像仓库来提供,比如hub.docker.com、私有仓库。 对于应用发布者而言,可以通过Helm打包应用,管理应用依赖关
阅读全文
摘要:一、简介 kubernetes 集群相关所有的交互都通过apiserver来完成,对于这样集中式管理的系统来说,权限管理尤其重要,在1.5版的时候引入了RBAC(Role Base Access Control)的权限控制机制。 启用RBAC,需要在 apiserver 中添加参数--authori
阅读全文
摘要:一、概述 RAID ( Redundant Array of Independent Disks )即独立磁盘冗余阵列,通常简称为磁盘阵列。简单地说, RAID 是由多个独立的高性能磁盘驱动器组成的磁盘子系统,从而提供比单个磁盘更高的存储性能和数据冗余高可靠性的存储技术。RAID分为硬 RAID、全
阅读全文
摘要:一、概述 Kubernetes 采用的是基于扁平地址空间的、非NAT的网络模型,每个Pod有自己唯一的IP地址。网络是由CNI(container network interface)插件建立的,而非K8S本身。 二、常见的几种CNI插件介绍 为了使容器之间的通信更加方便,Google 和 Core
阅读全文