摘要: 本文介绍多表关联查询优化方式 1. 用IN代替JOIN 当多表查询时,查询的数据仅从一张表出时,可考虑用IN操作而不是JOIN SELECT a.* FROM hits_v1 a WHERE a.CounterID in (SELECT CounterID FROM visits_v1); 2. 多 阅读全文
posted @ 2022-10-21 21:33 算法小生 阅读(130) 评论(0) 推荐(0) 编辑
摘要: 1. Explain查询计划查看 // 查看执行计划,默认值 EXPLAIN PLAN SELECT arrayJoin([6,6,7]) // AST语法树查看 EXPLAIN AST SELECT numbers FROM system.numbers LIMIT 10; // 用于优化语法 E 阅读全文
posted @ 2022-10-21 21:32 算法小生 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 副本集对数据进行完整备份,数据高可用,对于分片集群来说,不管是ES还是ClickHouse是为了解决数据横向扩展的问题,ClickHouse在实际应用中一般配置副本集就好了 1. 编写clickhouse-shard.yml文件 具体代码已上传至gitee,可直接克隆使用 # 副本集部署示例 ver 阅读全文
posted @ 2022-10-21 21:31 算法小生 阅读(290) 评论(0) 推荐(0) 编辑
摘要: 1. 编写clickhouse-replication.yml文件 该代码已上传至gitee,可克隆下来 # 副本集部署示例 version: '3' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2 阅读全文
posted @ 2022-10-21 21:30 算法小生 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 上篇文章已经创建过表及熟悉了基本语法,本文介绍CK的数据类型以及表引擎的一些分类与作用 1. 数据类型 |类型||||| |-|-|-|-|-| |整型|Int8|Int16|Int32|Int64| |浮点型|Float32|Float64| |Decimal型|Decimal|Decimal32 阅读全文
posted @ 2022-10-21 21:29 算法小生 阅读(65) 评论(0) 推荐(0) 编辑
摘要: 首先我们建表,表引擎我们后续文章在详细介绍,我们首先了解下基本SQL语法 CREATE DATABASE study; CREATE TABLE study.customer ( id UInt8, city String, name String, score Float32, sex Enum8 阅读全文
posted @ 2022-10-21 21:28 算法小生 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 1. 列式存储 采用列式存储时,数据在磁盘上的组织结构为: 1 2 3 张三 李四 王五 18 20 25 好处: 对于列的聚合、计数、求和等统计操作由于列式存储 由于列数据类型相同,更容易数据压缩 由于数据压缩比更好,不仅节省磁盘空间,更便于cache发挥空间 2. DBMS功能完备 几乎覆盖标准 阅读全文
posted @ 2022-10-21 21:27 算法小生 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 本文介绍docker-compose方式部署clickhouse数据库 编写docker-compose.yml文件: version: '3' services: elasticsearch: image: clickhouse/clickhouse-server container_name: 阅读全文
posted @ 2022-10-21 21:25 算法小生 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 本文介绍工作中Python版常用的高效ES批量插入、更新数据方式 1. 批量插入 import pandas as pd from elasticsearch import helpers actions = list() count = 0 for index, item in merged_df 阅读全文
posted @ 2022-10-21 21:24 算法小生 阅读(499) 评论(0) 推荐(0) 编辑
摘要: 1. SSHFS挂载 上传Elasticsearch\fuse-2.9.2-11.el7.x86_64.rpm至ES所在三台机器 上传Elasticsearch\fuse-libs-2.9.2-11.el7.x86_64.rpm至ES所在三台机器 上传Elasticsearch\fuse-sshfs 阅读全文
posted @ 2022-10-21 21:20 算法小生 阅读(134) 评论(0) 推荐(0) 编辑