[置顶] SeaTunnel(2.3.12)部署及其Demo(含CDC实时采集demo)

摘要: SeaTunnel部署及其Demo 从上图可以看出seatunnel的conf(执行命令文件),主要是source、transform、sink组成 📥 Source(数据源):作用:从各种数据源读取数据 🔄 Transform(数据转换):作用:对数据进行清洗、转换、加工 📤 Sink(数据 阅读全文

posted @ 2025-12-11 15:50 C_C_菜园 阅读(1477) 评论(0) 推荐(2)

[置顶] 海豚调度_DolphinScheduler(3.3.2)+ Datax_3.0 + SeaTunnel_2.3.12 + DEMO演示

摘要: 一、海豚调度(DolphinScheduler_3.3.2)的使用 DAG --有向无环图,有顺序,但是不会形成环的图表。 海豚调度的API接口:http://YOURID:12345/dolphinscheduler/swagger-ui/index.html 参考 https://blog.cs 阅读全文

posted @ 2025-12-08 15:21 C_C_菜园 阅读(1445) 评论(0) 推荐(0)

[置顶] 部署:海豚调度(DolphinScheduler部署)(单机Standalone部署)-3.3.2(非稳定版)

摘要: 海豚调度(DolphinScheduler)部署——Standalone 版本:3.3.2是最新版(本文使用的)。稳定版本是 3.1.9 DolphinScheduler是2019年中国易观公司开源的一个调度系统。目前是apache顶级项目之一 官网:https://dolphinscheduler 阅读全文

posted @ 2025-12-03 15:07 C_C_菜园 阅读(2489) 评论(2) 推荐(0)

[置顶] (未完待续……)DataX3.0部署、演示Demo

摘要: 1、部署 拉取代码,自己编译(不用全量包,也不需要全量包) github源码: https://github.com/alibaba/DataX 打包好了的: https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202309/datax.tar 阅读全文

posted @ 2025-11-26 16:40 C_C_菜园 阅读(359) 评论(0) 推荐(0)

[置顶] SpringBoot自定义cron表达式注册定时任务

摘要: springBoot自定义cron表达式注册定时任务 一、原理 1、使用Spring自带的TaskScheduler注册任务 2、注册后返回:ScheduledFuture,用于取消定时任务 3、注册任务后不会马上取消任务,所以将任务缓存。在需要取消任务的时候调用取消接口取消 4、cron表达式可以 阅读全文

posted @ 2023-04-21 16:51 C_C_菜园 阅读(1158) 评论(0) 推荐(1)

[置顶] Java构建树结构的公共方法

摘要: 一、前提 pId需要传入用来确认第一级的父节点,而且pId可以为null。 树实体类必须实现:TreeNode接口 MyTreeVo必须有这三个属性:id、pId、children 可以根据不同需求,配置TreeNode和MyTreeVo中固定的属性 二、代码 定义TreeNode接口 public 阅读全文

posted @ 2023-04-12 16:35 C_C_菜园 阅读(610) 评论(4) 推荐(4)

2026年3月13日

Netty:demo1:文件IO

摘要: 测试 导出500MB的纯文本文件 测试io的时间,bio使用缓冲区的话,其实时间和nio、netty都差不多了 BIO 用了 BufferedOutputStream 后,性能已经很接近 NIO 了 结果 文件 IO 差异不大,网络 IO 才是 Netty 的主战场 关键学习点 特性 BIO NIO 阅读全文

posted @ 2026-03-13 09:44 C_C_菜园 阅读(12) 评论(0) 推荐(0)

2026年3月12日

Netty:底层模式:Reactor 模式

摘要: 底层模式:Reactor 模式 什么是 Reactor 模式? Reactor 模式是一种事件驱动的并发处理模式,通过 I/O 多路复用监听事件,当事件就绪时分发到对应的处理器处理。Netty 的线程模型就是基于 Reactor 模式实现的。 三种 Reactor 模式对比 模式 结构 优点 缺点 阅读全文

posted @ 2026-03-12 11:00 C_C_菜园 阅读(25) 评论(0) 推荐(0)

Netty:零拷贝

摘要: 零拷贝(Zero-Copy)详解 什么是零拷贝? 传统 I/O 操作中,数据需要在内核空间和用户空间之间多次复制,零拷贝通过减少或消除这些复制操作来提升性能。 传统 I/O 的数据拷贝过程 以文件发送到网络为例,传统方式需要 4 次拷贝 + 4 次上下文切换: 1. 磁盘 → 内核缓冲区 (DMA 阅读全文

posted @ 2026-03-12 10:59 C_C_菜园 阅读(184) 评论(0) 推荐(0)

2026年2月26日

AI Coding

摘要: 0、claude、 1、claude code 2、MCP 3、Skills https://juejin.cn/post/7595423767721164809 4、每个编辑器,基本都有:计划模式 5、kiro使用 阅读全文

posted @ 2026-02-26 22:08 C_C_菜园 阅读(8) 评论(0) 推荐(0)

2026年1月27日

PostgreSQL:新增语句:特殊处理:ON CONFLICT ... DO (UPDATE SET ...)/(NOTHING)

摘要: 1、普通的insert into 如果(主键/唯一建)存在,则会报错 新需求:就算冲突也不报错,用其他处理逻辑 2、基本语法(INSERT INTO ... ON CONFLICT (...) DO (UPDATE SET ...)/(NOTHING)) 语法图 flowchart TD A[开始: 阅读全文

posted @ 2026-01-27 15:16 C_C_菜园 阅读(593) 评论(0) 推荐(2)

2026年1月15日

SeaTunnel(2.3.12)的高级用法(四):多个source、多个sink

摘要: 前置知识:seatunnel配置中有数据流(Data Flow)转的概念 见:https://www.cnblogs.com/kakarotto-chen/p/19487384 demo1:两个source汇聚到一个sink 关键配置:sink的:plugin_input = ["source_da 阅读全文

posted @ 2026-01-15 15:08 C_C_菜园 阅读(563) 评论(0) 推荐(0)

SeaTunnel(2.3.12)的高级用法(一):核心能力扩展:SeaTunnel 的核心概念:数据流(Data Flow)

摘要: 一句话总结(先给结论) SeaTunnel 不是“source → sink”的线性工具 👉 它是一个 “数据流(DataStream / DataFlow)驱动的 DAG 执行引擎” 你刚才验证的: 两个 source 可以流入一个 sink 正是这个模型的直接体现。 一、SeaTunnel 的 阅读全文

posted @ 2026-01-15 14:57 C_C_菜园 阅读(41) 评论(0) 推荐(0)

2026年1月8日

反编译jar包(class)文件成java文件(批量操作)

摘要: 推荐工具:Bytecode Viewer(图形界面,可导出) 包含多种反编译器可选: CFR(中文不友好) Fernflower(推荐,中文友好) Procyon Krakatau 或者用 CFR 命令行(最快): 下载:https://github.com/leibnitz27/cfr/relea 阅读全文

posted @ 2026-01-08 14:23 C_C_菜园 阅读(63) 评论(0) 推荐(0)

2026年1月4日

PostgreSQL:字符串拼接-string_agg

摘要: 一、string_agg 在 PostgreSQL 中,把多行数据中的某个字段合并成一个字符串(字段)展示,最常用且最标准的函数是 string_agg。 核心函数:string_agg 这个函数可以将选定的列的值连接起来,并用你指定的分隔符隔开。 1. 基本语法 string_agg(要合并的字段 阅读全文

posted @ 2026-01-04 16:55 C_C_菜园 阅读(154) 评论(0) 推荐(0)

2025年12月30日

海豚调度DolphinScheduler 和 Spring Cloud Data Flow 对比

摘要: Spring Cloud Data Flow Spring Cloud Data Flow是一个基于Spring Boot和Spring Cloud的开源框架,旨在简化云原生环境中数据流处理和批处理任务的开发、部署与管理。它提供了一种统一的编程和操作模型,用于编排可组合的数据微服务,支持在Cloud 阅读全文

posted @ 2025-12-30 16:22 C_C_菜园 阅读(753) 评论(0) 推荐(0)

导航