06 2024 档案
摘要:package org.hu.jdbc.pool; import com.alibaba.druid.pool.DruidDataSourceFactory; import com.zaxxer.hikari.HikariConfig; import com.zaxxer.hikari.Hikari
阅读全文
摘要:在Java中,"try with"通常是指使用try-with-resources语句,这是Java 7引入的一种自动资源管理特性。try-with-resources语句可以自动关闭实现AutoCloseable或Closeable接口的资源,这使得处理必须关闭的资源(如文件流、数据库连接等)变得
阅读全文
摘要:官网下载5.7.20的文档为zip,需要配置my.ini后安装,步骤如下: [mysql] 设置mysql客户端默认字符集 default-character-set=utf8 [mysqld] 设置3306端口 port=3306 设置mysql的安装目录 basedir=D:\yy\mysqld
阅读全文
摘要:DWS(Data Warehouse Summary)层通常是指数据仓库中的汇总层,它在数据仓库架构中扮演着将DWD层(明细数据层)的数据进行进一步聚合和汇总的角色。在设计DWS层时,颗粒度的选择非常关键,因为它直接影响到数据的汇总方式和分析的灵活性。 根据搜索结果,DWS层的设计应该围绕业务过程进
阅读全文
摘要:原文:https://mp.weixin.qq.com/s/DP2H1CCs06KmOD17zhtTJw 数据模型从主题域模型、概念模型到逻辑模型、物理模型,逐步从抽象的业务需求转化为具体的技术实现。这一过程确保数据结构既能准确反映业务逻辑,又能在实际系统中高效地存储和处理数据。逻辑模型中的规范化(
阅读全文
摘要:数据可视化是 BI中的核心功能,有许多成熟的商用解决方案,如的Tableau,powebi,新生代的 Looker,国内的 FineBI 等等。但对于许多小企业来说这些的 License 费用是一笔不小的开销。 那在2024年开源软件如此发达的今天,在数据可视化方面,有什么靠谱的免费bi工具可以选择
阅读全文
摘要:在Spring Boot项目中,有时需要引入本地JAR包以便重用已有的代码库或者第三方库。本文将详细介绍如何在Spring Boot项目中引入本地JAR包的步骤和配置,并提供相应的代码示例。 为什么需要本地JAR包 在开发过程中,可能会遇到以下情况需要使用本地JAR包: 复用已有的项目模块 使用尚未
阅读全文
摘要:文章目录 前言 一、初识多线程 1.1 并行、并发、串行 1.2 上下文切换 1.2.1 上下分切换的分类 1.2.2 减少上下文切换的方式 1.2.3 上下文切换的优化示例 1.3 并发编程的优缺点 1.3.1 并发编程的优点* 1.3.2 并发编程的缺点* 1.4 并发编程三要素 1.4.1 原
阅读全文
摘要:转载自:http://blog.csdn.net/u013078669/article/details/52717142 分组, 计数和排序 1.1 分组, 计数 [java] view plain copy public static void main(String[] args) { //3
阅读全文
摘要:选择Java接口还是抽象类 很多人有过这样的疑问:为什么有的地方必须使用接口而不是抽象类,而在另一些地方,又必须使用抽象类而不是接口呢?或者说,在考虑Java类的一般化问题时,很多人会在接口和抽象类之间犹豫不决,甚至随便选择一种。 实际上接口和抽象类的选择不是随心所欲的。 要理解接口和抽象类的选择原
阅读全文
摘要:前言 在数字化时代,企业越来越依赖数据驱动决策,报表作为数据呈现的核心工具,其重要性不言而喻。 然而,很多企业在报表开发过程中遇到了诸多问题,尤其是在与数据仓库各层模型设计开发的衔接上。 本文我们将深入探讨报表开发与数据仓库的关系,以及如何高效地进行报表开发。 一、报表开发与数仓各层模型设计开发的关
阅读全文
摘要:单元测试、反射、注解、动态代理 课程安排 单元测试 单元测试概述 单元测试 单元测试就是针对最小的功能单元编写测试代码,Java 程序最小的功能单元是方法,因此,单元测试就是针对 Java 方法的测试,进而检查方法的正确性。 目前测试方法是怎么进行的,存在什么问题 只有一个 main 方法,如果一个
阅读全文
摘要:背景 最近在研究mapStruct,而mapStruct核心技巧就是apt,通过编译期注解+freemarker进行java文件生成,从而省去了很多编码。 本wiki将阐述一个apt的编程实践。 实践过程 创建一个hello工程 工程由两个模块组成: application模块,将使用自定义的编译器
阅读全文
摘要:Java-注解 转载声明: 本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容: 最通俗易懂的java注解讲解 作者:frank909 来源:腾讯云 转载仅为方便学习查看,一切权利属于原作者,本人只是做了整理和排版,如果带来不便请联系我删除。 摘要 Annotation中文译过来
阅读全文
摘要:最近项目中遇到一个问题,在用户没填数据的时候,我们需要接收从前端传过来的对象为null,但是前端说他们一个一个判断特别麻烦,只能传个空对象过来,我第一个想法就是可以通过反射来判断对象是否为空。 第一版: User.java public class User { private String use
阅读全文
摘要:代理模式 代理模式的英文叫做Proxy或Surrogate,中文都可译为“代理”,所谓代理,就是一个人或者一个机构代表另一个人或者另一个机构采取行动。在一些情况下,一个客户不想或者不能够直接引用一个对象,而代理对象可以在客户端和目标对象之间起到中介的作用 。代理就是为其他对象提供一个代理以控制对某个
阅读全文
摘要:反射:框架设计的灵魂 框架:半成品软件。可以在框架的基础上进行软件开发,简化编码。 反射:将类的各个组成部分封装为其它对象,这就是反射机制。 好处 可以在程序运行过程中,操作这些对象。 可以解耦,提高程序的可扩展性。 获取Class对象的方式: 1. Class.forName("全类名"):将字节
阅读全文
摘要:什么是java集合? 1、java集合大致分为Set、List、Queue、Map四种体系。 List代表有序、可重复的集合;(有序指存储顺序和取出顺序一致) Set表示无序、不可重复(元素唯一)的集合;(无序指存储顺序和取出顺序不一致) Map代表具有映射关系的集合; Queue代表一种队列集合。
阅读全文
摘要:一、Maven概述 1.1 为什么要学习Maven? Maven作为依赖管理工具,能够管理规模庞大jar包。使用Maven后,依赖对应的Jar包能够自动下载、方便、快捷且规范。 Maven作为构建管理工具。当我们使用 IDEA 进行开发时,构建是 IDEA 替我们做的。脱离IDEA环境执行构建操作,
阅读全文
摘要:原文:https://edu.csdn.net/skill/java/java-4ddfc05dbbe54300905f404c1ed1b4f9?category=462&typeId=19824 前言 为什么写这篇文章呢,因为我不想再去百度搜别人的文章了,所以自己写一篇以作记录。 一、 准备工作
阅读全文
摘要:FastJson文章目录 第一章 FastJson使用详解这一篇就够了 第二章 FastJsonHttpMessageConverter 类的作用与使用详解 第三章 Jackson 使用详解 文章目录 FastJson文章目录 前言 一、FastJson是什么? 二、使用步骤 1.引入库 2.序列化
阅读全文
摘要:package org.hu.fk.datastream_connector; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import com.ververica.cdc.connectors.
阅读全文
摘要:关于Option的介绍可以看深入理解java8中的Optional 类就可以了,但是复杂一点的使用在网上却没有搜到,这里结合我开发时遇到的真实案例来讲一下Option的使用。 1.案例一 在真实业务操作过程中,都是对象里面套对象,这边先简单定义操作对象: public class PictureCo
阅读全文
摘要:Java 8 Stream Java 8 新特性 Java 8 新特性 Java 8 API添加了一个新的抽象称为流Stream,可以让你以一种声明的方式处理数据。 Stream 使用一种类似用 SQL 语句从数据库查询数据的直观方式来提供一种对 Java 集合运算和表达的高阶抽象。 Stream
阅读全文
摘要:实时ETL工具:Apache NiFi介绍和教程 原创 码奋 码奋 2024-06-22 10:05 上海 图片 图片 1.背景和历史 Apache NiFi (Niagara Files) 是由美国国家安全局(NSA)开发,并于2014年捐赠给Apache软件基金会的一个开源项目。它的设计初衷是为
阅读全文
摘要:最近正在写SpringBoot系列文章和录制视频教程,每次都要重复写一些Getter/Setter、构造器方法、字符串输出的ToString方法和Equals/HashCode方法等。甚是浪费时间,也影响代码的可读性。因此,今天就给大家推荐一款Java开发神器——Lombok,让代码更简单易读。 什
阅读全文
摘要:package org.hu.fk.ds_connector; import com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.data.Field; import com.ververica.cdc.connectors.sh
阅读全文
摘要:直接转为String,可参照实现自定义序列化器 import com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.source.SourceRecord; import com.ververica.cdc.debezium.Deb
阅读全文
摘要:此处调用官方sink demo,更新和删除逻辑还需要再判断实现。 import com.ververica.cdc.connectors.base.options.StartupOptions; import com.ververica.cdc.connectors.sqlserver.SqlSer
阅读全文
摘要:url=jdbc:sqlserver://localhost:1433;databaseName=test user=s pwd=123 driver=com.microsoft.sqlserver.jdbc.SQLServerDriver url=jdbc:mysql://localhost:33
阅读全文
摘要:这里介绍一下Flink Sink中jdbc sink的使用方法,以mysql为例,这里代码分为两种,事务和非事务 此处sink只处理append,主要是事务和非事务的调用方法,upsert等未实现 非事务代码 import org.apache.flink.connector.jdbc.JdbcCo
阅读全文
摘要:org.apache.flink 没有jar包,要换为 com.ververica.cdc 2.com.ververica.cdc 最新的也只有 3.0.1,3.1.1的没有 主要 mvnrepository 仓库没找到 如下是单并行度和多并行度的demo import com.ververica.
阅读全文
摘要:当我们的idea无法自动下载所需的Maven依赖时,我们可以到Maven的远程仓库中下载所需要的jar包,然后添加到我们的本地仓库中。 1.首先我们打开远程仓库的网址(https://mvnrepository.com/) .所需的jar包下载好后,可以将其放在D盘根目录下 6.再回到刚才的网页中,
阅读全文
摘要:SQLServer CDC Connector # The SQLServer CDC connector allows for reading snapshot data and incremental data from SQLServer database. This document des
阅读全文
摘要:CREATE FUNCTION [dbo].[split] ( @splitstring varchar(max), @separator CHAR(1) = ',' ) RETURNS @splitstringstable TABLE ( [item] VARCHAR(200) ) AS BEGI
阅读全文
摘要:CREATE FUNCTION dbo.incrRate(@val01 decimal(36,4),@val02 decimal(36,4)) RETURNS decimal(36,4) AS -- 增减比 BEGIN DECLARE @re_val decimal(36,4)=null; if i
阅读全文
摘要:CREATE FUNCTION dbo.ratio(@val01 decimal(36,4),@val02 decimal(36,4)) RETURNS decimal(36,4) AS -- 占比 BEGIN DECLARE @re_val decimal(36,4)=null; if isnul
阅读全文
摘要:前言 在数据仓库(DWS)构建完成后,随着业务需求的不断变化,我们常常需要对数据仓库进行调整和优化。 一个常见的场景是需要在现有的数据仓库中添加新的维度字段。 面对这种情况,我们应该如何处理 深入分析下游使用情况 在做出决策之前,首先需要深入分析下游使用情况。 数据仓库的设计不是孤立的,它直接影响着
阅读全文
摘要:最近在刷博客的时候看到一个挺有意思的面试题:“两个对象相等,Hashcode 一定相等,那如果两个对象不相等,HashCode 有没有可能相等?”这个问题涉及 Java 的 equals 和 hashCode 方法的工作原理和约定。本文将详细探讨这一问题,并解释其中的逻辑。 equals 和 has
阅读全文
摘要:引言 在Java 8之前,Java的语法相对冗长,尤其是在处理集合操作和多线程编程时,常常需要大量的样板代码。 自Java 8引入Lambda表达式以来,Java编程变得更加简洁和高效,不仅减少了代码量,还提升了代码的可读性和可维护性。 今天就来聊聊几种工作中很常用的Lambda表达式应用场景,走过
阅读全文
摘要:高级配置主题 # Flink 依赖剖析 # Flink 自身由一组类和依赖项组成,这些共同构成了 Flink 运行时的核心,在 Flink 应用程序启动时必须存在,会提供诸如通信协调、网络管理、检查点、容错、API、算子(如窗口)、资源管理等领域的服务。 这些核心类和依赖项都打包在 flink-di
阅读全文
摘要:Flink 架构 # Flink 是一个分布式系统,需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器,例如Hadoop YARN,但也可以设置作为独立集群甚至库运行。 本节概述了 Flink 架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复。 Flink
阅读全文
摘要:及时流处理# 介绍# 及时流处理是有状态流处理其中时间在计算中起了一些作用。在进行时间序列分析时,基于特定时间段(通常称为窗口)进行聚合时,或者在事件发生时间非常重要的情况下进行事件处理时,都会出现这种情况。 在接下来的章节中,我们将重点介绍在使用适时Flink应用程序时应该考虑的一些主题。 返回页
阅读全文
摘要:有状态流处理# 什么是状态?# 虽然数据流中的许多操作只是查看一个个体一次事件(例如事件解析器),有些操作会记住多个事件的信息(例如窗口操作符)。这些操作被称为宏伟威严的. 有状态操作的一些例子: 当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。 当聚合每分钟/小时/天的事件时,状
阅读全文
摘要:Flink 中的 API # Flink 为流式/批式处理应用程序的开发提供了不同级别的抽象。 Programming levels of abstraction Flink API 最底层的抽象为有状态实时流处理。其抽象实现是 Process Function,并且 Process Functio
阅读全文
摘要:通过状态快照实现容错处理 # State Backends # 由 Flink 管理的 keyed state 是一种分片的键/值存储,每个 keyed state 的工作副本都保存在负责该键的 taskmanager 本地中。另外,Operator state 也保存在机器节点本地。Flink 定
阅读全文
摘要:性能考虑 # Flink 提供了为 RocksDB 优化的 MapState 和 ListState 类型。 相对于 ValueState,更建议使用 MapState 和 ListState,因为使用 RocksDBStateBackend 的情况下, MapState 和 ListState 比
阅读全文
摘要:数据库开发设计规范(通用) 原创 我科绝伦 小周的数据库进阶之路 2024-05-17 15:46 黑龙江 一、编写目的 为了在软件生命周期内规范数据库相关的需求分析、设计、开发、测试、运维工作,便于不同团队之间的沟通协调,以及在相关规范上达成共识,提升相关环节的工作效率和系统的可维护性。同时好的规
阅读全文
摘要:Trino in a Docker container# The Trino project provides the trinodb/trino Docker image that includes the Trino server and a default configuration. The
阅读全文
摘要:一、transient关键字小结 1、变量被transient修饰,变量将不会被序列化 2、transient关键字只能修饰变量,而不能修饰方法和类。 3、被static关键字修饰的变量不参与序列化,一个静态static变量不管是否被transient修饰,均不能被序列化。 4、final变量值参与
阅读全文
摘要:创建entity模板,equals hashcode 方法模板 如下为FLINK官网实体类demo equals hashcode 方法模板可以参考 // // Source code recreated from a .class file by IntelliJ IDEA // (powered
阅读全文
摘要:数据仓库中的7种建模方法及示例 原创(https://mp.weixin.qq.com/s/4Nnhih4ccLxs5hguQMZRHA) 晓晓 数据驱动智能 2024-06-09 07:19 陕西 图片 试象一下,你是一家繁忙餐厅的分析工程师。每天,顾客都会预订、下订单并完成付款。所有这些数据都会
阅读全文
摘要:正文: 断言 断言是一个逻辑判断,用于检查不应该发生的情况 Assert 关键字在 JDK1.4 中引入,可通过 JVM 参数-enableassertions开启 SpringBoot 中提供了 Assert 断言工具类,通常用于数据合法性检查 // 要求参数 object 必须为非空(Not N
阅读全文
摘要:create database test; use test; 离线数据源接入 CREATE TABLE ttab_source ( id INT, name varchar(100), PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'jd
阅读全文
摘要:1.start-dfs.sh 2.start-yarn.sh 3./opt/module/flink/bin/yarn-session.sh -d 4./opt/module/flink/bin/sql-client.sh embedded -s yarn-session
阅读全文
摘要:USE TEST GO 库开启cdc EXEC sys.sp_cdc_enable_db GO EXEC sys.sp_cdc_help_change_data_capture EXEC xp_servicecontrol N'querystate', N'SQLServerAGENT'; SELE
阅读全文