又见阿郎

摘要： 当前的问题 Apache Paimon 最典型的场景是解决了 CDC (Change Data Capture) 数据的入湖；CDC 数据来自数据库。一般来说，分析需求是不会直接查询数据库的。 容易对业务造成影响，一般分析需求会查询全表，这可能导致数据库负载过高，影响业务 分析性能不太好，业务数据库 阅读全文

摘要： 翻译自 Apache Paimon官方文档 概览 概述 Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。 简单来说，Paimon的上游是各个CDC，即changlog数据流；而其自身支持实时sink与s 阅读全文

摘要： What is State 虽然数据流中的许多操作一次只查看一个单独的事件（例如事件解析器），但某些操作会记住多个事件的信息（例如窗口算子）。 这些操作称为有状态的(stateful)。 有状态操作的一些示例： 当应用程序搜索某些事件模式(event patterns)时，状态(state)将存储迄 阅读全文

摘要： Flink是一个分布式系统，需要有效地分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，如Hadoop YARN和Kubernetes，但也可以设置为作为一个独立的集群运行，甚至作为一个库。 Flink集群的剖析 Flink运行时由两种类型的进程组成:一个JobManager和 阅读全文

摘要： 优化算法主要用于调整神经网络中的超参数，使得训练数据集上的损失函数尽可能小。其核心逻辑是通过计算损失函数对参数的梯度（导数）来确定参数更新方向。 SGD Stochastic Gradient Descent(随机梯度下降法)：随机梯度下降算法是一种改进的梯度下降方法，它在每次更新参数时，只随机选择 阅读全文

摘要： 概述 大模型有两个流程：预训练和推理。 预训练是在某种神经网络模型架构上，导入大规模语料数据，通过一系列的神经网络隐藏层的矩阵计算、微分计算等，输出权重，学习率，模型参数等超参数信息。 推理是在预训练的成果上，应用超参数文件，基于预训练结果，根据用户的输入信息，推理预测其行为。 GLM模型原理的理解 阅读全文

摘要： 概述 GLM、ChatGLM的相关基础知识说明： GLM模型底层还是基于Transformer，因此其设计、优化都是围绕Transformer的各个组件的。从注意力层的掩码、位置编码等方面优化与设计。 ChatGLM3/ChatGLM2的源码中，比如finetune、trainer等代码，其实是co 阅读全文

摘要： 汇总一下，自己写的博客分类，方便自己日常的学习与积累。 AI LLM 聊聊心理医疗领域大模型的落地思考 聊聊大模型微调训练全流程的思考 聊聊ChatGLM-6B医疗数据微调 聊聊大模型的微调实现及其应用 GLM及其相关系列 聊聊ChatGLM-6B源码分析(二) 聊聊ChatGLM中P-tuning 阅读全文

摘要： 大数据框架下，常用的数据更新策略有三种: COW: copy-on-write, 写时复制; MOR: merge-on-read, 读时合并; MOW: merge-on-write, 写时合并; hudi等数据湖仓框架，常用的是前两种实现数据更新。而Doris则主要用后两种更新数据。 COW 在 阅读全文

摘要： 神经网络模型流程 神经网络模型的搭建流程，整理下自己的思路，这个过程不会细分出来，而是主流程。 在这里我主要是把整个流程分为两个主流程，即预训练与推理。预训练过程主要是生成超参数文件与搭设神经网络结构；而推理过程就是在应用超参数与神经网络。 卷积神经网络的实现 在 聊聊卷积神经网络CNN中，将卷积神 阅读全文