随笔分类 - 数据库
摘要:
相比前面介绍maxwell,实时数据采集中最主流技术非Flink CDC莫属,其直接省去中间的消息中间件如kafka,且支持增量采集也支持全量采集;本篇先介绍CDC的技术和分类,进一步了解其特性和支持丰富数据源,最后通过FLink DataStream和SQL两种编程示例解开入门。
阅读全文

摘要:
一个适合工业物联网实时采集传感器数据实时分析工业设备的数据实现更好的预测性感知的分布式NoSQL数据库Apache Pinot,先了解其特性和使用场景,然后通过Local和Docker两种方式部署Apache Pinot和验证环境,最后通过实操其批和流式导入数据和利用其控制台端点查询数据。
阅读全文

摘要:
了解Apache Druid的基础概念后,本篇进一步研究其核心架构和核心设计原理部分,了解相关外部依赖,对其数据摄取和查询有一定认识,然后通过搭建分布式集群进一步理解其架构组成,最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式
阅读全文

摘要:
Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库,本篇了解其特征和适用场景,并与其他框架横向对比;最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式
阅读全文

摘要:
前面两篇连续介绍两个数据同步组件后,好事应有三,大满贯收场,本篇介绍主流的异构数据源离线同步工具DataX的框架设计和执行流程,将其与大名鼎鼎大数据同步组件Sqoop做对比,部署安装并通过配置基于MySQL和HDFS互为读写的实例场景和关键配置说明。
阅读全文

摘要:
要想入门大数据理论和原理必先研究HBase,体会其设计精髓,本篇先介绍其基础架构和应用场景、逻辑结构和物理存储结构进一步理解其数据模型,通过详细完整步骤一步步的安装最新版本2.5高可用的Hbase集群以加深理解其整体架构,最后通过实操Hbase Shell基础命令和DDL、DMl等常用命令。
阅读全文

摘要:
ELK作为老一代日志分析技术栈非常成熟,可以说是最为流行的大数据日志和搜索解决方案,而新一代日志监控选型以MPP架构为主如ClickHouse、StarRocks特别是近年来对ELK地位发起较大的挑战,不乏有许多的大公司如携程,快手已开始把自己的日志解决方案从 ES 迁移到了Clickhouse,本篇将以一个完整实际日志采集的场景进一步打开Clickhouse的技术大门
阅读全文

摘要:
又多一款数仓选型,虽然ClickHouse从性能上比不上前面的StarRocks,但还是有其使用场景,技多也不压身。本篇了解ClickHouse特性和性能,并完成一个单机和三台集群环境部署并验证可用,为后续实站提供前提条件
阅读全文

摘要:
本篇重点讲述导入数据到StarRocks几种方式,也通过一个flink-connector-starrocks的简单示例代码了解其导入过程,进而学习数组类型的使用、分布式实现本地Join的使用,最后抛出外部表的使用大门
阅读全文

摘要:
在上一篇已部署StarRocks集群环境基础上,本篇以列式存储、稀疏索引开始对StarRocks表设计进一步学习,进而理解排序键、物化视图、位图索引、布隆过滤器索引,全面理解加速数据处理,并通过动手实操示例巩固效果
阅读全文

摘要:
没错,国产之强大,越来越多像新时代云原生的Apache Pulsar一样把性能优化极致的正在快速崛起,本篇从StarRocks由来开始,了解其特性和使用场景、架构和原理、组成部分,然后部署了一个FE和3个BE集群,最后通过一个简单建表正式迈入实操
阅读全文

摘要:
来自灵魂拷问你对MyBatis了解多少?Java技术栈程序员对MyBatis运用了如指掌,但本篇我们围绕带着开篇三个问题从源码的角度去探索不一样MyBatis的收获之旅,相信在读完本篇后对MyBatis源码将不再陌生;并给在企业数据库应用开发为提升效率推荐基于Spring Boot的MyBatis-Plus实战示例,最后抛砖引玉出MyBatis-Plus苞米豆生态圈MybatisX插件和企业级应用Mybatis-Mate
阅读全文

摘要:
云原生时代又一代表作TiDB,具备HTAP也即是同时支持OLTP和OLAP,Pulsar设计相似采用存储与计算分离架构,本篇从TiDB与传统数据库的比较开始,了解应用场景和特性,进而进行部署和基础操作实践,了解整体架构、从存储、计算、调度了解TiDB的设计。
阅读全文

摘要:
将原理与实际操作经验相结合,本章不讲sql用法,主要针对的是开发人员需掌握的一些MySQL面试的知识点,涉及索引、事务、优化等方面,以及大厂SQL使用规约
阅读全文

摘要:
MySQL发展至今仍然是世界上最流行的关系型数据库管理系统,使用C和C++语言编写,并且为很多种编程语言提供API.能够处理千万级别的数据,市场占有量还是老大哥地位。MySQL创立于1996年,最初是由瑞典 MySQL AB公司开发所有,在2008年被Sun公司收购,而Sun公司又在2009年被Oracle公司收购,目前MySQL属于Oracle旗下的产品。MySQL官网提供了多种版本,我们来了解一些,但我们常用的还是社区版本。
阅读全文
