摘要: ClickHouse的特性 ClickHouse是一款MPP架构的列式存储数据库,但MPP和列式存储并不是什么"稀罕"的设计。拥有类似架构的其他数据库产品也有很多,但是为什么偏偏只有ClickHouse的性能如此出众呢?ClickHouse发展至今的演进过程一共经历了四个阶段,每一次阶段演进,相比之 阅读全文
posted @ 2020-09-16 17:27 四季写爱 阅读(19246) 评论(0) 推荐(5) 编辑
摘要: 一、一致性模型概念 提到分布式架构就一定绕不开“一致性”问题,而“一致性”其实又包含了数据一致性和事务一致性两种情况,下面是对强一致性、最终一致性、因果一致性、单调读一致性、单调写一致性、会话一致性的解释。 1.1 强一致性:在任何时刻所有的用户或者进程查询到的都是最近一次成功更新的数据。强一致性是 阅读全文
posted @ 2020-08-14 16:00 四季写爱 阅读(1338) 评论(0) 推荐(0) 编辑
摘要: 问题:默认下载的Hive驱动版本是3的,如果使用最新的3版本连接2版本的Hive会报错,报各种依赖问题。 解决方案: 需要下载对应版本的Hive驱动hive-jdbc hadoop-common也需下载(版本不需要太严格,2和3版本都可) 配置刚刚下载的依赖包(在弹出的finder文件位置,新建一个 阅读全文
posted @ 2024-07-04 11:33 四季写爱 阅读(217) 评论(0) 推荐(0) 编辑
摘要: 一、域名更换证书 ssl证书一般包括证书文件crt、cer、pem、pfx和私钥文件key。 CER、CRT、PEM 和 PFX 是不同的证书文件格式,它们之间存在一些区别: CER (DER 编码) CER 文件是使用 DER 编码的证书文件格式。 CER 文件通常包含单个 X.509 证书。 C 阅读全文
posted @ 2024-06-24 15:01 四季写爱 阅读(595) 评论(0) 推荐(0) 编辑
摘要: MySQL表引擎可以与MySQL数据库中的数据表简历映射,并通过SQL向其发起远程查询。 MySQL表引擎可以与物化视图结合,来同步更新MySQL数据库中的数据。 语法: CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster 阅读全文
posted @ 2020-08-26 16:54 四季写爱 阅读(6211) 评论(0) 推荐(0) 编辑
摘要: #clickhouse-client :create database dw; :use dw; --导入数据: CREATE TABLE Orders ENGINE = MergeTree ORDER BY OrderID AS SELECT * FROM mysql('10.42.134.136 阅读全文
posted @ 2020-08-26 16:49 四季写爱 阅读(8035) 评论(0) 推荐(0) 编辑
摘要: 一、ClickHouse简介 ClickHouse是近年来备受关注的开源列式数据库,主要用于数据分析(OLAP)领域。目前国内社区火热,各个大厂纷纷跟进大规模使用: 今日头条 内部用ClickHouse来做用户行为分析,内部一共几千个ClickHouse节点,单集群最大1200节点,总数据量几十PB 阅读全文
posted @ 2020-08-21 11:18 四季写爱 阅读(9672) 评论(0) 推荐(2) 编辑
摘要: 一、HBase介绍及其特点 HBase是一个开源的非关系型分布式数据库,它参考了谷歌的BigTable建模,实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务。因此,它可以容错地存储海量 阅读全文
posted @ 2020-08-11 14:28 四季写爱 阅读(3180) 评论(0) 推荐(0) 编辑
摘要: 作为一名刚入职的大数据初级开发工程师,来到公司后发现代码是部署在GItLab上,之前一直认为代码可以放在码云、github上面,然后就很迷惑就对GitLab进行了了解,将git 和gitlab结合起来,环境配好。 一、GitLab的介绍 GitLab和GitHub两者都是属于第三方基于Git开发的产 阅读全文
posted @ 2019-07-29 16:20 四季写爱 阅读(1224) 评论(0) 推荐(0) 编辑
摘要: 由于经常使用linux系统,并且大数据环境搭建中经常会使用到mysql,不像windows系统下的安装,今天有点空写一篇,下面我给大家演示一遍。 主要有三部分内容: 1、MySQL的卸载 2、MySQL的安装 3、MySQL用户的授权和用户创建、删除 一、MySQL的卸载(如果是仅仅安装MySQL的 阅读全文
posted @ 2018-12-19 14:06 四季写爱 阅读(960) 评论(0) 推荐(1) 编辑