摘要: 副本集对数据进行完整备份,数据高可用,对于分片集群来说,不管是ES还是ClickHouse是为了解决数据横向扩展的问题,ClickHouse在实际应用中一般配置副本集就好了 1. 编写clickhouse-shard.yml文件 具体代码已上传至gitee,可直接克隆使用 # 副本集部署示例 ver 阅读全文
posted @ 2022-10-21 21:31 算法小生 阅读(290) 评论(0) 推荐(0) 编辑
摘要: 1. 编写clickhouse-replication.yml文件 该代码已上传至gitee,可克隆下来 # 副本集部署示例 version: '3' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2 阅读全文
posted @ 2022-10-21 21:30 算法小生 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 上篇文章已经创建过表及熟悉了基本语法,本文介绍CK的数据类型以及表引擎的一些分类与作用 1. 数据类型 |类型||||| |-|-|-|-|-| |整型|Int8|Int16|Int32|Int64| |浮点型|Float32|Float64| |Decimal型|Decimal|Decimal32 阅读全文
posted @ 2022-10-21 21:29 算法小生 阅读(65) 评论(0) 推荐(0) 编辑
摘要: 首先我们建表,表引擎我们后续文章在详细介绍,我们首先了解下基本SQL语法 CREATE DATABASE study; CREATE TABLE study.customer ( id UInt8, city String, name String, score Float32, sex Enum8 阅读全文
posted @ 2022-10-21 21:28 算法小生 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 1. 列式存储 采用列式存储时,数据在磁盘上的组织结构为: 1 2 3 张三 李四 王五 18 20 25 好处: 对于列的聚合、计数、求和等统计操作由于列式存储 由于列数据类型相同,更容易数据压缩 由于数据压缩比更好,不仅节省磁盘空间,更便于cache发挥空间 2. DBMS功能完备 几乎覆盖标准 阅读全文
posted @ 2022-10-21 21:27 算法小生 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 本文介绍docker-compose方式部署clickhouse数据库 编写docker-compose.yml文件: version: '3' services: elasticsearch: image: clickhouse/clickhouse-server container_name: 阅读全文
posted @ 2022-10-21 21:25 算法小生 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 本文介绍工作中Python版常用的高效ES批量插入、更新数据方式 1. 批量插入 import pandas as pd from elasticsearch import helpers actions = list() count = 0 for index, item in merged_df 阅读全文
posted @ 2022-10-21 21:24 算法小生 阅读(499) 评论(0) 推荐(0) 编辑
摘要: 1. SSHFS挂载 上传Elasticsearch\fuse-2.9.2-11.el7.x86_64.rpm至ES所在三台机器 上传Elasticsearch\fuse-libs-2.9.2-11.el7.x86_64.rpm至ES所在三台机器 上传Elasticsearch\fuse-sshfs 阅读全文
posted @ 2022-10-21 21:20 算法小生 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 深入理解聚合分析原理及精确性问题 1. Metric Aggregation 单值分析,只输出一个分析结果 min max avg sum cardinality (类似distinct count) 多值分析,输出多个分析结果 stats extended stats percentile, pe 阅读全文
posted @ 2022-10-20 21:13 算法小生 阅读(119) 评论(0) 推荐(0) 编辑
摘要: 1. 刨析分布式查询及相关性算分 1.1 分布式搜索的运行机制 ElasticSearch的搜索,会分为两阶段进行 第一阶段 Query 第二阶段 Fetch Query Then Fetch 1.2 Query阶段 用户发出搜索请求到ES节点。节点收到请求后,会已Coordinating节点的身份 阅读全文
posted @ 2022-10-20 21:10 算法小生 阅读(23) 评论(0) 推荐(0) 编辑