又见阿郎

摘要： 在 Doris 的存储引擎规则: 表的数据是以分区为单位存储的，不指定分区创建时，默认就一个分区. 用户数据首先被划分成若干个分区（Partition），划分的规则通常是按照用户指定的分区列进行范围划分，比如按时间划分。 在每个分区内，数据被进一步的按照Hash的方式分桶，分桶的规则是要找用户指定的 阅读全文

摘要： Doris中，Leader节点与非Leader节点和Observer节点之间的元数据高可用和一致性，是通过bdbje(全称:Oracle Berkeley DB Java Edition)的一致性和高可用实现的。 元数据与同步流程 元数据主要存储四类数据： 用户数据信息. 包括数据库, 表的sche 阅读全文

摘要： MPP MPP:Massively Parallel Processing, 即大规模并行处理. 一般用来指多个SQL数据库节点搭建的数据仓库系统. 执行查询的时候, 查询可以分散到多个SQL数据库节点上执行, 然后汇总返回给用户. Doris Doris 作为一款开源的 MPP 架构 OLAP 高 阅读全文

摘要： 聊聊Flink的必知必会(三) 聊聊Flink必知必会(四) 从源码中，根据关键的代码，梳理一下Flink中的时间与窗口实现逻辑。 WindowedStream 对数据流执行keyBy()操作后，再调用window()方法，就会返回WindowedStream，表示分区后又加窗的数据流。如果数据流没 阅读全文

摘要： 从现今与今后的发展来看，单一的业务不再仅仅依靠于传统的技术开发，而是应该结合AI模型来应用、实践。只有这样，才能更数智化，更高效化，更贴合时代的发展。 魔塔 社区就类似国外的Hugging Face，是一个模型即服务的运行平台。在这个平台上运行着很多的大模型示例，网站直接提供了试运行的环境，也可以下 阅读全文

摘要： 从之前的RNN系列到现在的Transformer模型，是一个演进的过程，技术的实现与迭代并不是一蹴而就，而是一个持续演进的历程。如果一开始就从Tranformer的模型机制来学习，知识的不全面以及欠缺就会导致懵逼甚至看不懂又不理解。 RNN系列： 聊聊RNN&LSTM 聊聊RNN与seq2seq 聊 阅读全文

摘要： RNN系列： 聊聊RNN&LSTM 聊聊RNN与seq2seq attention mechanism，称为注意力机制。基于Attention机制，seq2seq可以像我们人类一样，将“注意力”集中在必要的信息上。 Attention的结构 seq2seq存在的问题 seq2seq中使用编码器对时序 阅读全文

摘要： seq2seq模型也称为Encoder-Decoder模型。顾名思义，这个模型有两个模块——Encoder（编码器）和Decoder（解码器）。编码器对输入数据进行编码，解码器对被编码的数据进行解码。此时编码器编码的信息浓缩了翻译所必需的信息，解码器基于这个浓缩的信息生成目标文本。 这里的数据一般指 阅读全文

摘要： RNN 用于解决输入数据为，序列到序列(时间序列)数据，不能在传统的前馈神经网络(FNN)很好应用的问题。时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度，即输入内容的上下文关联性强。 整体结构 x、o为向量，分别表示输入层、输出层的值；U、V为权重矩 阅读全文

摘要： 独热编码 OneHotEncoder 是用于将类别型特征转换为独热编码的类。独热编码是一种常用的特征编码方式，特别适用于处理类别型特征，将其转换为数值型特征。 对于每个类别型特征，OneHotEncoder 将其编码成一个长度为类别数量的向量。 每个类别对应一个维度，如果样本的该特征值为该类别，则对 阅读全文