会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
itxiaoshen博客
虽然不能成为技术大神,但也要与时俱进保持对于IT新技术的学习追求,一点点积累和自我总结,即使再小的帆也能远航。www.itxiaoshen.com
博客园
首页
新随笔
联系
订阅
管理
随笔 - 136
文章 - 0
评论 - 32
阅读 -
13万
2023年8月7日
新一代开源流数据湖平台Apache Paimon入门实操-下
摘要:
上一篇对Apache Paimon有了基础了解,本身则主要通过实操方式进一步加深理解,具备沉淀后续投入使用的基础知识;进行数据插入和更新操作,基于批和流式多种查询方式如时间旅行和增量查询,并了解相关系统表的查看,最后MySQL和基于Kafka(通过Canal对MySQL数据库实现变更捕获)的CDC集成完整示例演示收尾。
阅读全文
posted @ 2023-08-07 18:23 itxiaoshen
阅读(2770)
评论(1)
推荐(0)
编辑
2023年8月3日
新一代开源流数据湖平台Apache Paimon入门实操-上
摘要:
本篇介绍一个强大的流数据湖平台,Flink官方开创,发展速度迅速,先了解其基本定义、适用场景和原理,然后基于yarn方式部署和测试,最后通过Catalog管理、创建表和修改多个示例了解基本使用
阅读全文
posted @ 2023-08-03 18:20 itxiaoshen
阅读(5976)
评论(2)
推荐(1)
编辑
2023年7月4日
国产开源流批统一的数据同步工具Chunjun入门实战
摘要:
前面我们学习过SeaTunnel这个优秀数据集成平台,今天再来研究一个与之相似开源产品ChunJun,原名为FlinkX其比SeaTunnel开源更早,本篇从了解其概况和特性;然后通过源码编译的方式部署,暂时先通过简单的Local和Standalone两种提交任务方式,通过几个示例一步步演示如何通过Json和SQL两种配置方式实现批流模式,如从MySQL数据源Sink写入HDFS、从Kafka数据源并通过关联ClickHouse表数据转换并最后Sink写入MySQL的使用。
阅读全文
posted @ 2023-07-04 23:35 itxiaoshen
阅读(1269)
评论(0)
推荐(1)
编辑
2023年6月27日
一文解开主流开源变更数据捕获技术之Flink CDC的入门使用
摘要:
相比前面介绍maxwell,实时数据采集中最主流技术非Flink CDC莫属,其直接省去中间的消息中间件如kafka,且支持增量采集也支持全量采集;本篇先介绍CDC的技术和分类,进一步了解其特性和支持丰富数据源,最后通过FLink DataStream和SQL两种编程示例解开入门。
阅读全文
posted @ 2023-06-27 23:40 itxiaoshen
阅读(1588)
评论(0)
推荐(0)
编辑
2023年6月14日
云原生时代崛起的编程语言Go远程调用gRPC实战
摘要:
云原生时代分布式和微服务RPC是一项常见技术,本篇先了解grpc基本定义和特点,搭建gRPC Go开发环境,并了解proto文件基本使用和gRPC go语言代码生成,然后通过Go语言代码示例从使用场景演示一元RPC、服务器流式RPC(文件上传)、客户端流式RPC(文件下载)、双向流式RPC(聊天),从而具备gRPC 开发的入门理解。
阅读全文
posted @ 2023-06-14 23:04 itxiaoshen
阅读(239)
评论(0)
推荐(0)
编辑
2023年6月8日
云原生时代Go最受欢迎Web开源框架Gin原理与实战
摘要:
在Go的Web开发世界中,Gin以其简单、高性能一举成为使用最广泛的框架;本篇先了解定位和特性,然后在进行常见使用功能如参数获取和绑定、路由组、中间件、静态资源使用、内容渲染、Cookie和Session等多个代码示例演示,最后通过分析源码中的核心流程和数据结构加深对其整体理解。
阅读全文
posted @ 2023-06-08 22:47 itxiaoshen
阅读(574)
评论(0)
推荐(1)
编辑
2023年6月1日
数据治理核心保障数据质量监控开源项目Apache Griffin分享
摘要:
数据开发和数据应用创造价值离不开数据的质量,数据质量管理是数据治理重要保障途径,Apache Griffin就是为解决数据质量监控而设计,本篇先了解Apache Griffin定义、特性和架构,然后通过官方提供docker-compose一键部署和体验,通过官网提供批处理和流处理演示操作,最后通过其提供UI管理页面实操一个批处理的数据质量监控示例。
阅读全文
posted @ 2023-06-01 22:59 itxiaoshen
阅读(885)
评论(0)
推荐(0)
编辑
2023年5月16日
Go开源世界主流成熟ORM框架gorm实践分享
摘要:
在GoLang世界中有很多优秀的ORM库,今天就介绍主流之一的GORM三方库,了解其核心功能,然后从其支撑数据类型模型和约定开始巩固其基础,接着以安装gorm库及其mysql驱动为基础编写常见CRUD代码示例,进入了解其事务、转换、分片等知识,最后演示其Json序列化示例。
阅读全文
posted @ 2023-05-16 23:32 itxiaoshen
阅读(1184)
评论(0)
推荐(1)
编辑
2023年5月13日
盘点数据仓库建设需要知道的那些事
摘要:
数据管理知识体系之数据仓库为企业数据中台的关键部分,本篇先从数据建设规范入手,接着介绍数仓分层、主题域划分原则,表处理规范和命名规范,最后说明指标定义、指标构成和指标
阅读全文
posted @ 2023-05-13 00:55 itxiaoshen
阅读(215)
评论(0)
推荐(0)
编辑
2023年5月11日
数据治理之关键环节元数据管理开源项目datahub探索
摘要:
元数据管理在数据治理中非常关键的部分,本篇分享一个现代化元数据管理开源项目datahub,了解其核心功能和概念,进一步理解器其架构和组件,然后从0到1的搭建和使用官方的数据样例演示,最后通过摄取MySQL和ClickHouse的示例打开其探索之门。
阅读全文
posted @ 2023-05-11 23:45 itxiaoshen
阅读(2109)
评论(0)
推荐(1)
编辑
下一页
公告
昵称:
itxiaoshen
园龄:
3年7个月
粉丝:
53
关注:
1
+加关注
<
2025年2月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
随笔分类
Go(6)
Java(55)
大厂面试(15)
大数据(44)
低代码(1)
分布式(34)
高并发(5)
工具(1)
经验分享(47)
其他(4)
软件架构和设计(5)
数据安全(4)
数据仓库(15)
数据库(15)
数据治理(8)
微服务(21)
云原生(24)
运维(23)
随笔档案
2023年8月(2)
2023年7月(1)
2023年6月(4)
2023年5月(5)
2023年4月(4)
2023年3月(5)
2023年2月(4)
2023年1月(1)
2022年12月(5)
2022年11月(5)
2022年10月(10)
2022年9月(4)
2022年8月(9)
2022年7月(8)
2022年6月(3)
2022年5月(9)
2022年4月(5)
2022年3月(3)
2022年2月(4)
2022年1月(7)
2021年12月(14)
2021年11月(3)
2021年10月(7)
2021年9月(6)
2021年8月(8)
阅读排行榜
1. 微服务生态组件之Spring Cloud LoadBalancer详解和源码分析(8814)
2. 新一代开源流数据湖平台Apache Paimon入门实操-上(5976)
3. 数据安全分类分级剖析(5068)
4. Seatunnel超高性能分布式数据集成平台使用体会(3992)
5. 低代码开发Paas平台时代来了(2775)
评论排行榜
1. 数仓选型必列入考虑的OLAP列式数据库ClickHouse(中)(3)
2. 新一代开源流数据湖平台Apache Paimon入门实操-上(2)
3. 一个基于Java线程池管理的开源框架Hippo4j实践(2)
4. 大数据实时多维OLAP分析数据库Apache Druid入门分享-下(2)
5. 不妨试试更快更小更灵活Java开发框架Solon(2)
推荐排行榜
1. 企业大数据发展面临问题之存算分离技术思考(5)
2. 当今微服务盛行之架构师必经之路-领域驱动设计-下(4)
3. 一个基于Java线程池管理的开源框架Hippo4j实践(3)
4. 基于列存储的开源分布式NoSQL数据库Apache Cassandra入门分享(3)
5. 比Sqoop功能更加强大开源数据同步工具DataX实战(3)
最新评论
1. Re:新一代开源流数据湖平台Apache Paimon入门实操-下
你好!你的博客网站怎么看不了了?博客网也没更新了?
--CodeCheng~
2. Re:新一代开源流数据湖平台Apache Paimon入门实操-上
@SongShiYan 我这边看是正常的,是不是网络的问题...
--墨小雨的猫
3. Re:新一代开源流数据湖平台Apache Paimon入门实操-上
图片挂了
--SongShiYan
4. Re:数字化大时代崛起的数据安全能力框架
上面制度有文档可以分享学习吗?
--YYmmiinngg
5. Re:SkyWalking分布式系统应用程序性能监控工具-上
请问,这个es是使用的哪个版本呀
--你是久别重逢
点击右上角即可分享