阿里 Canal 实时同步 MySQL 增量数据至 ClickHouse 数据库
主要实现思路 1、在clickhouse中创建MySQL引擎表。 2、根据MySQL引擎表的信息创建目标表。 3、实现canal实时增量同步MySQL数据到clickhouse。 MySQL 的准备 修改配置文件开启 Binlog [root@hadoop100 module]$ sudo vim ...
逻辑升级，深度解析如何实现业务中的且或组件
在业务实现的过程中，时常会出现且或关系逻辑的拼接。逻辑运算的组合使用，是实现复杂业务规则和决策支持系统的关键技术。 目前袋鼠云的指标管理平台、客户数据洞察平台、数据资产平台都有在使用。并且，且或组件已经在 RC 5.0 中添加到组件库，企业现在可以更加灵活地构建和实施复杂的业务规则。 本文将从前期分 ...
.net6中使用EF core多个上下文迁移方式
正常上下文在复制一个一模一样的上下文 appsettings.json添加两个数据库连接字符串 Program.cs里边一样添加两个 控制台迁移命令 必须加上-Context 后边跟的是我们上下文的名称 Add-Migration MyMigration -Context MYDBContext22 ...
别再发邮件了，必须在开源之夏后台申请，50%的人竟然都没有报名成功！
引言 近期我们注意到很多学生朋友通过邮件向导师申请报名，请注意！！！这是无效的，请必须通过“开源之夏”官方后台申请报名，请仔细参考这篇【报名攻略】 所以，我们特此举办这次宣讲会，目的是向所有感兴趣的学生详细介绍Apache DolphinScheduler社区在开源之夏中提供的项目，并且解答学生朋 ...
Oracle ORA-06575: 程序包或函数WM_CONCAT处于无效状态
--Oracle ORA-06575: 程序包或函数WM_CONCAT处于无效状态 失效原因：版本不支持，WM_CONCAT是oracle的非公开函数，并不鼓励使用，新版本oracle并没有带此函数，需要手工加上。 --首先使用dba账号登录oracle数据库 sqlplus sys/sys as ...
Percona Toolkit 神器全攻略
Percona Toolkit 神器全攻略 Percona Toolkit 神器全攻略系列共八篇分为 文章名 文章名 Percona Toolkit 神器全攻略 Percona Toolkit 神器全攻略（实用类） Percona Toolkit 神器全攻略（配置类） Percona Toolkit ...
MySQL全文索引源码剖析之Insert语句执行过程
本文分享自华为云社区《MySQL全文索引源码剖析之Insert语句执行过程》 ，作者：GaussDB 数据库。 1. 背景介绍 全文索引是信息检索领域的一种常用的技术手段，用于全文搜索问题，即根据单词，搜索包含该单词的文档，比如在浏览器中输入一个关键词，搜索引擎需要找到所有相关的文档，并且按相关性排 ...
MySQL 8.0 Reference Manual（读书笔记52节--Optimizing Subqueries, Derived Tables, View References, and Common Table Expressions(2)）
4 Optimizing Derived Tables, View References, and Common Table Expressions with Merging or Materialization The optimizer can handle derived table refe ...
Redis的缓存雪崩、击穿、穿透问题，小小缓存问题，拿捏
前言 来整理一下缓存雪崩、击穿和穿透的问题，这个问题在面试中常出现，不是瞎说，我已经遇到几次了 一、缓存雪崩 1.雪崩 什么是雪崩，某度给出的解释 雪崩 当山坡积雪内部的内聚力抗拒不了它所受到的重力拉引时,便向下滑动,引起大量雪体崩塌,人们把这种自然现象称作雪崩。 说白了就是一部分雪因不可抗力出现问 ...
快速理解MySQL null的10大坑
创建表时应当设置not null，添加一个默认值0或''去替代null。 sum('field')的坑 若一列的所有值都是null，那么sum函数的结果不是0，而是null，所以可能会因为值的类型兼容问题，出现意料之外的情况。 null值会有NPE问题。 count('field')的坑 有null ...
MySQL的索引优化
哪些场景下MySQL会使用索引查询数据，哪些场景下MySQL不会使用索引查询数据，以及如何使用索引提示来告知查询优化器使用索引、忽略索引和强制索引索引。 ...
MySQL 8.0 Reference Manual（读书笔记51节--Optimizing Subqueries, Derived Tables, View References, and Common Table Expressions(1)）
The MySQL query optimizer has different strategies available to evaluate【ɪˈvæljueɪt 评价;评估;估计;】 subqueries: • For a subquery used with an IN, = ANY, or ...
MySQL 8.0 Reference Manual（读书笔记51节--Optimizing SELECT Statements(6)）
18 DISTINCT Optimization DISTINCT combined with ORDER BY needs a temporary table in many cases. Because DISTINCT may use GROUP BY, learn how MySQL wor ...
MySQL面试必备三之事务
本文首发于公众号：Hunter后端 原文链接：MySQL面试必备三之事务 这一篇笔记介绍一下 MySQL 的事务，面试中常被问到关于事务的几个问题如下： 事务是什么 为什么需要事务，事务有什么作用 事务的特点 事务可能带来哪些问题 事务有哪些隔离级别，这些隔离级别都可以解决哪些问题 可重复读隔离级别 ...
推荐系统：精排多目标融合与超参数学习方法
粗排/精排的个性化多任务学习模型，能预估20多个不同的预估值，如点击率、有效播放率、播放时长、点赞率、关注率等，那如何用它来排序呢？从多任务学习到多目标排序，中间有一个过渡，即如何把这些预估值融合成一个单一的排序分，最后实现多目标精排。这也就引入了本文要介绍的正题：多目标融合（multi-task ... ...
MySQL 8.0 Reference Manual（读书笔记50节--Optimizing SELECT Statements(5)）
15 IS NULL Optimization MySQL can perform the same optimization on col_name IS NULL that it can use for col_name = constant_value. For example, MySQL ...
MySQL 8.0 Reference Manual（读书笔记49节--Optimizing SELECT Statements(4)）
11 Multi-Range Read Optimization Reading rows using a range scan on a secondary index can result in many random disk accesses to the base table when t ...
DashVector x 通义千问大模型：打造基于专属知识的问答服务
本教程演示如何使用向量检索服务（DashVector），结合LLM大模型等能力，来打造基于垂直领域专属知识等问答服务。其中LLM大模型能力，以及文本向量生成等能力，这里基于灵积模型服务上的通义千问 API以及Embedding API来接入。 背景及实现思路 大语言模型（LLM）作为自然语言处理领域 ...
GreatSQL数据库DROP表后无法重建
一、数据库信息： 数据库版本：5.7.21-log 某银行测试数据库，APP业务库内有一个含有大量（几百个）分区表的大表test_app。DROP该分区表的大表后导致无法重建该分区表。 二、问题描述： 客户使用“drop table test_app;”时，显示表删除成功。当重新执行该表的建表语句时 ...
