06 2021 档案

摘要:ClickHouse row_number() over (partition by)的几种实现方法 hive中有row_number() over (partition by)函数,可以一句SQL实现想要的排序,在ClickHouse中有很多种实现方式,本篇就介绍一下几种方法。 目录 1.row_ 阅读全文 »
posted @ 2021-06-05 16:26 宁君 阅读(1644) 评论(1) 推荐(1) 编辑
摘要:ClickHouse为用户提供了丰富的多参聚合函数(parametric aggregate function)和基于数组+Lambda表达式的高阶函数(higher-order function),将它们灵活使用可以达到魔法般的效果。在我们的体系中,ClickHouse定位点击流数仓,所以下面举几 阅读全文 »
posted @ 2021-06-05 16:22 宁君 阅读(901) 评论(0) 推荐(0) 编辑
摘要:数据类型 尽量用数值型 建表时能用数值型或日期时间型表示的字段,就不要用字符串——全String类型在以Hive为中心的数仓建设中常见,但CK环境不应受此影响。 直接用DataTime 直接用DateTime表示时间列,而不是用整形的时间戳。因为CK中DateTime的底层就是时间戳,效率高,可读性 阅读全文 »
posted @ 2021-06-05 16:21 宁君 阅读(2607) 评论(0) 推荐(0) 编辑
摘要:利用Grafana与系统表监控ClickHouse查询 前言 我们往往需要关心数据库的查询执行情况,特别是慢查询。本文简述配置ClickHouse查询监控的一种傻瓜方法。 开启查询日志 打开各个ClickHouse实例的users.xml,在当前使用的profile(如default)中加入: <l 阅读全文 »
posted @ 2021-06-05 16:19 宁君 阅读(1101) 评论(0) 推荐(0) 编辑
摘要:当前连接数 SELECT * FROM system.metrics WHERE metric LIKE '%Connection'; 当前正在执行的查询 SELECT query_id, user, address, query FROM system.processes ORDER BY que 阅读全文 »
posted @ 2021-06-05 16:18 宁君 阅读(259) 评论(0) 推荐(0) 编辑
摘要:一、去重 1.arrayDistinct 对数组进行去重 SELECT arrayDistinct( [1,2,3,6,34,3,11]) 2.arrayUniq 计算数组中有多少个不重复的值 SELECT arrayUniq( [1,2,3,6,34,3,11]) 3.arrayCompact 对 阅读全文 »
posted @ 2021-06-05 16:16 宁君 阅读(2179) 评论(0) 推荐(0) 编辑
摘要:库引擎 MySQL引擎 允许连接到远程MySQL服务器上的数据库,并执行INSERT和SELECT查询以在ClickHouse和MySQL之间交换数据。 Mysql数据库引擎翻译请求语句,并发送给MYSQL服务器,因此你可以执行像SHOW TABLES 或者 SHOW CREATE TABLE这样的 阅读全文 »
posted @ 2021-06-05 16:15 宁君 阅读(713) 评论(0) 推荐(0) 编辑
摘要:OLAP 读多于写 不同于事务处理(OLTP)的场景,比如电商场景中加购物车、下单、支付等需要在原地进行大量insert、update、delete操作,数据分析(OLAP)场景通常是将数据批量导入后,进行任意维度的灵活探索、BI工具洞察、报表制作等。 数据一次性写入后,分析师需要尝试从各个角度对数 阅读全文 »
posted @ 2021-06-05 16:14 宁君 阅读(813) 评论(0) 推荐(0) 编辑
摘要:下载 下载地址: https://repo.clickhouse.tech/tgz/stable/ 下载的包: clickhouse-common-static clickhouse-server clickhouse-client 单机安装 tar -zxvf clickhouse-common- 阅读全文 »
posted @ 2021-06-05 16:13 宁君 阅读(194) 评论(0) 推荐(0) 编辑
摘要:开篇词 | 这一次,让我们一起来搞懂MySQL 01 | 基础架构:一条SQL查询语句是如何执行的? 02 | 日志系统:一条SQL更新语句是如何执行的? 重要的日志模块:redo log InnoDB 的 redo log 是固定大小的 从头开始写,写到末尾就又回到开头循环写 重要的日志模块:bi 阅读全文 »
posted @ 2021-06-02 18:10 宁君 阅读(1400) 评论(0) 推荐(0) 编辑
摘要:创建对象 <dependencies> <!-- list of dependencies --> <dependency> <groupId>org.neo4j</groupId> <artifactId>neo4j-connector-apache-spark_2.11</artifactId> 阅读全文 »
posted @ 2021-06-02 12:21 宁君 阅读(482) 评论(0) 推荐(0) 编辑
摘要:1. 原生的Neo4j Java API Driver driver = GraphDatabase.driver( "bolt://localhost:7687", AuthTokens.basic( userName, passWord ) ); Session session = driver 阅读全文 »
posted @ 2021-06-02 12:20 宁君 阅读(229) 评论(0) 推荐(0) 编辑
摘要:Cypher函数是对图进行查询和操作的重要工具。 一,谓词函数 谓词函数返回true或者false,主要用于检查是否存在或满足特定的条件。 1,Exists 如果指定的模式存在于图中,或者特定的属性存在于节点、关系或Map中,那么函数返回True 例如,节点具有name属性,并check图中是否存在 阅读全文 »
posted @ 2021-06-02 12:19 宁君 阅读(166) 评论(0) 推荐(0) 编辑
摘要:更新图包括图的节点和关系的创建、更新和删除,也能更新图的节点和关系的属性、节点标签和关系类型。 一,创建节点 1,创建空的节点 CREATE (n) CREATE (a),(b) 2,创建带标签的节点 CREATE (n:Person) CREATE (n:Person:Swedish) 3,创建带 阅读全文 »
posted @ 2021-06-02 12:18 宁君 阅读(643) 评论(0) 推荐(0) 编辑
摘要:投射子句用于定义如何返回数据集,并可以对返回的表达式设置别名,而过滤子句用于对查询的结果集按照条件进行过滤 一,Return子句 使用return子句返回节点,关系和关系。 1,返回节点 MATCH (n { name: 'B' }) RETURN n 2,返回关系 MATCH (n { name: 阅读全文 »
posted @ 2021-06-02 12:16 宁君 阅读(323) 评论(0) 推荐(0) 编辑
摘要:Cypher使用match子句查询数据,是Cypher最基本的查询子句。在查询数据时,使用Match子句指定搜索的模式,这是从Neo4j数据库查询数据的最主要的方法。match子句之后通常会跟着where子句,向模式中添加过滤性的谓词,用于对数据进行过滤。在查询数据时,查询语句分为多个部分,with 阅读全文 »
posted @ 2021-06-02 12:15 宁君 阅读(858) 评论(0) 推荐(0) 编辑
摘要:模式和模式匹配是Cypher的核心,使用模式来描述所需数据的形状,该模式使用属性图的结构来描述,通常使用小括号()表示节点,-->表示关系,-[]->表示关系和关系的类型,箭头表示关系的方向。 一,节点模式 用小括号表示节点模式:(a),a是节点变量的名称,用于引用图中的某一个节点a。 对于匿名的节 阅读全文 »
posted @ 2021-06-02 12:14 宁君 阅读(422) 评论(0) 推荐(0) 编辑
摘要:Cypher是图形数据库查询语言事实上的标准。 一,Cypher类型系统 Cypher支持的类型系统分为三类:属性类型,复合类型和结构类型。 1,属性类型 属性类型:Integer、Float、String和Boolean Boolean类型:true, false, TRUE, FALSE Str 阅读全文 »
posted @ 2021-06-02 12:13 宁君 阅读(276) 评论(0) 推荐(0) 编辑
摘要:Neo4j使用Cypher查询图形数据,Cypher是描述性的图形查询语言,语法简单,功能强大,由于Neo4j在图形数据库家族中处于绝对领先的地位,拥有众多的用户基数,使得Cypher成为图形查询语言的事实上的标准。本文作为入门级的教程,我不会试图分析Cypher语言的全部内容,本文的目标是循序渐进 阅读全文 »
posted @ 2021-06-02 12:12 宁君 阅读(360) 评论(0) 推荐(0) 编辑
摘要:一,图形数据库的基本概念 使用Neo4j创建的图(Graph)基于属性图模型,在该模型中,每个实体都有ID(Identity)唯一标识,每个节点由标签(Lable)分组,每个关系都有一个唯一的关系类型。 属性图模型的基本概念: 实体(Entity) 是指节点(Node)和关系(Relationshi 阅读全文 »
posted @ 2021-06-02 12:10 宁君 阅读(531) 评论(0) 推荐(0) 编辑
摘要:https://www.w3cschool.cn/neo4j/neo4j_cql_create_node.html 1. 标签(Label) 在Neo4j中,一个节点可以有一个以上的标签,从现实世界的角度去看,一个标签可以认为节点的某个类别,比如BOOK、MOVIE等等。 2. 节点(Node) 节 阅读全文 »
posted @ 2021-06-02 12:08 宁君 阅读(177) 评论(0) 推荐(0) 编辑
摘要:1.下载 官方下载链接:https://neo4j.com/download-center/#community (v4)对应jdk11,(v3)对应jdk8 2. 安装 解压就好. 配置环境变量 在系统变量区域,新建环境变量,命名为NEO4J_HOME,变量值设置为刚才neo4j的安装路径,我这里 阅读全文 »
posted @ 2021-06-02 12:07 宁君 阅读(104) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/for_yayun/category_9297446.html neo4j相关文章 https://github.com/neo4j/neo4j-documentation 文档 https://neo4j.com/docs/java-reference/ 阅读全文 »
posted @ 2021-06-02 12:05 宁君 阅读(64) 评论(0) 推荐(0) 编辑
摘要:什么是ETL ETL是数据抽取(Extract)、转换(Transform)、加载(Load )的简写,它是将OLTP系统中的数据经过抽取,并将不同数据源的数据进行转换、整合,得出一致性的数据,然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程 数据仓库的架构 数据仓库( 阅读全文 »
posted @ 2021-06-01 09:51 宁君 阅读(395) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示