08 2021 档案
摘要：1 RESTful REST 指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是 RESTful。Web 应用程序最重要的 REST 原则是，客户端和服务器之间的交互在请求之间是无状态的。从客户端到服务器的每个请求都必须包含理解请求所必需的信息。如果服务器在请求之间的任何时间点
阅读全文
摘要：Elasticsearch 是面向文档型数据库，一条数据在这里就是一个文档。为了方便大家理解，我们将 Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比 ES 里的 Index 可以看做一个库，而 Types 相当于表，Documents 则相当于表的行
阅读全文
摘要：1 下载软件 Elasticsearch 的官方地址：https://www.elastic.co/cn/ Elasticsearch 最新的版本是 7.11.2（截止 2021.3.10），我们选择 7.8.0 版本（最新版本半 年前的版本） 下载地址：https://www.elastic.co
阅读全文
该文被密码保护。
摘要：The following code shows how to use toChangelogStream for different scenarios. import org.apache.flink.streaming.api.datastream.DataStream; import org
阅读全文
摘要：The following code shows how to use fromChangelogStream for different scenarios. import org.apache.flink.streaming.api.datastream.DataStream; import o
阅读全文
摘要：Internally, Flink’s table runtime is a changelog processor. The concepts page describes how dynamic tables and streams relate to each other. A StreamT
阅读全文
摘要：The following code shows how to use toDataStream for different scenarios. import org.apache.flink.streaming.api.datastream.DataStream; import org.apac
阅读全文
摘要：NO.1 code A DataStream can be registered directly as a view (possibly enriched with a schema). Views created from a DataStream can only be registered
阅读全文
摘要：NO.1 code The following code shows how to use fromDataStream for different scenarios. import org.apache.flink.streaming.api.datastream.DataStream; imp
阅读全文
摘要：A StreamTableEnvironment offers the following methods to convert from and to DataStream API: fromDataStream(DataStream): Interprets a stream of insert
阅读全文
摘要：0 简介 Flink provides a specialized StreamTableEnvironment in Java and Scala for integrating with the DataStream API. Those environments extend the regu
阅读全文
摘要：18.ports映射端口的标签。使用HOST:CONTAINER格式或者只是指定容器的端口，宿主机会随机映射端口。 ports: - "3000" - "8000:8000" - "49100:22" - "127.0.0.1:8001:8001" 注意：当使用HOST:CONTAINER格式来映射
阅读全文
摘要：来源:https://blog.csdn.net/Aria_Miazzy/article/details/89326829 Docker Compose 配置文件详解,转载自博客https://www.jianshu.com/p/2217cfed29d7 先来看一份 docker-compose.y
阅读全文
摘要：来源:https://www.cnblogs.com/yyxianren/p/10894708.html 一、docker-compose命令格式 docker-compose [-f <arg>...] [options] [COMMAND] [ARGS...] 选项如下： -f，–file FI
阅读全文
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
摘要：0 Group Aggregation （简介） Batch Streaming Like most data systems, Apache Flink supports aggregate functions; both built-in and user-defined. User-defin
阅读全文
该文被密码保护。
摘要：Windowing table-valued functions (Windowing TVFs) Streaming 0 简介 Windows are at the heart of processing infinite streams. Windows split the stream int
阅读全文
该文被密码保护。
该文被密码保护。
摘要：When using side outputs, you first need to define an OutputTag that will be used to identify a side output stream: // this needs to be an anonymous in
阅读全文
摘要：1 Debug 环境准备 1.1 下载源码包 下载 Hive 源码包，自行编译一下，建议在 Linux 环境下编译，然后将整个编译好的包全部拷贝到 IDEA 工作目录中并使用 IDEA 打开。该文档是以 Hive3.1.2 版本作为讲解的。 1.2 打开项目配置项 1.3 添加远程连接配置组 1.4
阅读全文
摘要：接下来的步骤包括： 1）将 AST 转换为 QueryBlock 进一步转换为 OperatorTree； 2）对 OperatorTree 进行逻辑优化（LogicalOptimizer）； 3）将 OperatorTree 转换为 TaskTree（任务树）； 4）对 TaskTree 进行物理
阅读全文
摘要：1 compileInternal 方法 2 compile 方法 3 parse 方法 说明：Antlr 框架。Hive 使用 Antlr 实现 SQL 的词法和语法解析。Antlr 是一种语言识别的工具，可以用来构造领域语言。 这里不详细介绍 Antlr，只需要了解使用 Antlr 构造特定 的
阅读全文
摘要：3.6 processLocalCmd 方法 3.7 qp.run(cmd)方法 点击进入“run”方法，该方法为 IDriver 接口的抽象方法，此处实际调用的是 “org.apache.hadoop.hive.ql.Driver”类中的“run”方法，找到“Driver”类中的“run”方法。
阅读全文
摘要：1 Hive 的核心组成介绍 1）用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBUI（浏览器访问 hive） 2）元数据：Metastore 元数据包括：表名、表所属的数据库（默认是 default）、表的拥有者
阅读全文
摘要：Window KeyedStream → WindowedStream Windows can be defined on already partitioned KeyedStreams. Windows group the data in each key according to some c
阅读全文
摘要：来源:https://blog.csdn.net/qq_41973536/article/details/81627918 hive的集合数据类型包括三种，分别是 Array、Map和Struct 下面分别介绍一下关于集合类型的创建表、插入数据以及查询的方法 1 创建包含有集合数据类型的hive表
阅读全文
摘要：hive窗口函数语法 在前言中我们已经说了avg()、sum()、max()、min()是分析函数，而over()才是窗口函数，下面我们来看看over()窗口函数的语法结构、及常与over()一起使用的分析函数 over()窗口函数的语法结构 常与over()一起使用的分析函数 窗口函数总结 1、o
阅读全文
该文被密码保护。
该文被密码保护。
该文被密码保护。
摘要：3 自定义函数 1）Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF 来 方便的扩展。 2）当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义 函数（UDF：user-defined function）。 3）根据用户自定
阅读全文
摘要：1 分区表 分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。 1.1 分区表基本操
阅读全文
摘要：4 Join 语句 4.1 等值 Join Hive 支持通常的 SQL JOIN 语句。 1）案例实操 （1）根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门名称； hive (default)> select e.empno, e.ename, d.deptno, d.dname
阅读全文
摘要：官网：https://clickhouse.tech/docs/en/operations/backup/ 1 手动实现备份及恢复 ClickHouse 允许使用 ALTER TABLE ... FREEZE PARTITION ... 查询以创建表分区的本地副本。这是利用硬链接(hardlink)
阅读全文
摘要：1 添加数据源 Prometheus （1）点击配置，点击 Data Sources： （2）点击添加按钮： （3）找到 Prometheus，点击 Select （4）配置 Prometheus Server 地址： （5）点击下方的 Save&Test： （6）出现绿色的提示框，表示与 Prom
阅读全文
摘要：1 修改配置文件 编辑/etc/clickhouse-server/config.xml，打开如下配置： <prometheus> <endpoint>/metrics</endpoint> <port>9363</port> <metrics>true</metrics> <events>true
阅读全文
摘要：0 Prometheus&Grafana 的安装 Prometheus 下载地址：https://prometheus.io/download/ Grafana 下载地址：https://grafana.com/grafana/download 1 安装 Prometheus Prometheus
阅读全文
摘要：ClickHouse 运行时会将一些个自身的运行状态记录到众多系统表中( system.*)。所以我们对于 CH 自身的一些运行指标的监控数据，也主要来自这些系统表。但是直接查询这些系统表会有一些不足之处： ➢这种方式太过底层，不够直观，我们还需要在此之上实现可视化展示； ➢系统表只记录了 CH 自
阅读全文
摘要：1 分布式 DDL 某数据节点的副本不执行 （1）问题：使用分布式 ddl 执行命令 create table on cluster xxxx 某个节点上没有创建 表，但是 client 返回正常，查看日志有如下报错。 <Error> xxx.xxx: Retrying createReplica(
阅读全文
摘要：目录 0 Explain 查看执行计划1 基本语法2 案例实操 0 Explain 查看执行计划 在 clickhouse 20.6 版本之前要查看 SQL 语句的执行计划需要设置日志级别为 trace 才能可以看到，并且只能真正执行 sql，在执行日志里面查看。在 20.6 版本引入了原生的执行计
阅读全文
摘要：零 导读 随着互联网技术的发展，海量数据已经成为公司决策分析的重要来源，ClickHouse有着大数据入门和低学习成本(支持SQL)的优势，故开启了第一篇环境搭建。希望能降低ClickHouse的入门门槛。 一 环境及工具 Windows10专业版(64位)：Windows其他版本可能会有其他问题，
阅读全文
