06 2023 档案
摘要：1.如何用脚手架快速新建一个vue3项目 安装vue-cli后，用如下命令创建 vue create my-vue3-project 默认创建vue3项目，直接回车即可。 新建完成后，如何引入element-plus？ 用Webstrom打开项目， 先运行一次npm install 然后运行npm
阅读全文
摘要：1、如何做到快速创建Vue 2项目： 要快速创建Vue 2项目，可以按照以下步骤进行操作： 步骤1：确保已经安装了Node.js和npm（Node.js的包管理器）。 步骤2：打开终端或命令提示符，进入你想要创建项目的目录。 步骤3：运行以下命令安装Vue CLI（命令行工具）： npm -g in
阅读全文
摘要：元学习（Meta-Learning）是一种机器学习方法，旨在使机器学习模型能够快速学习和适应新任务或新环境。它通过学习如何学习，为模型提供一种通用的学习能力，使其能够在面对新任务时快速学习和泛化。 下面举一个元学习的例子，以在图像分类任务中进行快速学习和适应为例： 假设我们有一个大型图像分类数据集，
阅读全文
摘要：假设我们有一个简化的天气预测模型，其中考虑了三种可能的天气状态：晴天（Sunny）、多云（Cloudy）和雨天（Rainy）。我们使用马尔可夫过程来描述这些天气状态之间的转移。 我们可以定义一个状态空间S = {Sunny, Cloudy, Rainy}，其中有三种天气状态。 现在假设我们观察了一段
阅读全文
摘要：非结构化剪枝，对每个参数进行选择性的剪枝，不考虑网络的特定结构或模式。 先训练一个完整的模型，然后再根据设置的剪枝率来选择保留每个矩阵中最重要的参数。简而言之，剪的是参数，而非通道channel和卷积核。 结构化剪枝，是针对整体的网络考虑，不是独立地对每个参数进行剪枝。而是对整个通道channel或
阅读全文
摘要：低秩分解（Low-rank factorization）也可以通过几何的方式来解释，帮助我们理解其含义和应用。 假设我们有一个m×n的矩阵A，我们希望对其进行低秩分解，即将其分解为两个低秩矩阵的乘积：A ≈ UV^T。其中，U是一个m×k的矩阵，V是一个n×k的矩阵，k远远小于m和n。 几何上，可以
阅读全文
摘要：奇异值分解（SVD）可以通过几何的方式来解释，从而帮助我们理解其含义和应用。 首先，我们可以将一个矩阵视为对向量空间的一种变换。假设有一个m×n的矩阵A，其中每一列可以看作是一个向量，而这些向量组成了一个n维的向量空间。奇异值分解可以将这个向量空间的变换分解为三个基本的几何操作：旋转、缩放和再次旋转
阅读全文
摘要：分组卷积（Grouped Convolution）是一种在卷积神经网络中常用的卷积操作，它将输入特征图分成多个分组，并在每个分组上应用卷积操作。每个分组使用独立的卷积核进行卷积计算，最后将各个分组的输出合并起来形成最终的输出特征图。 传统的卷积操作是在整个输入特征图上进行的，使用一组卷积核对整个特征
阅读全文
摘要：深度可分离卷积（Depthwise Separable Convolution）是一种在卷积神经网络中常用的卷积操作，它可以有效地减少计算量和模型参数的数量，从而提高模型的效率和速度。 传统的卷积操作是在输入特征图的每个通道上进行的，使用一组卷积核对每个通道进行卷积计算。而深度可分离卷积将卷积操作分
阅读全文
摘要：# .Regular join组 第一种： left join 流任务中，只要left的流数据到了，就输出。如果右边流没有到，输出 [L,NULL]；如果右边流到了，输出 [L, R] 第二种： right join 流任务中，只要right的流数据到了，就输出。如果左边流没有到，输出 [NULL，
阅读全文
摘要：flink的通信框架基于akka，但是不懂akka也关系不大。 首先介绍几个概念，大家记住名字和对应的作用： xxxGateway：在flink中就是一个用来告诉调用者，xxx具有哪些方法可以调用的一个接口类。比如JobMasterGateway就是用来告诉所有需要调用JobMaster的用户，我J
阅读全文
摘要：Flink是一个分布式流处理框架，它提供了丰富的操作符来处理流数据。双流(join)操作是其中一个常用的操作，用于将两个流的数据按照指定的条件进行关联。Flink的底层实现使用了一种称为“流的连接”(stream co-processing)的技术。 在Flink中，双流(join)操作通过以下步骤
阅读全文
摘要：当Flink双流(join)操作的时间窗口过大时，可能会导致以下问题： 1. 内存消耗：时间窗口大小直接影响Flink系统的内存消耗。较大的时间窗口会导致需要维护更多的状态数据，从而占用更多的内存资源。 2. 延迟增加：大时间窗口可能会导致延迟增加。如果窗口的大小超过了数据流的延迟，那么在触发窗口计
阅读全文
摘要：不，Flink的双流(join)操作并不要求两个流都是滑动窗口。在双流(join)操作中，每个流可以使用不同类型的窗口，包括滑动窗口、滚动窗口或其他类型的窗口。 在Flink中，可以对每个输入流分别定义不同的窗口类型和参数，以满足实际的业务需求。只要两个流在关联键上能够匹配，并且窗口定义能够适配，就
阅读全文
摘要：Flink的状态表保存的时间可以根据应用程序的需求进行配置。状态表的保留时间取决于两个因素： 1. **状态后端（State Backend）的配置**：Flink支持不同类型的状态后端，如内存、文件系统、RocksDB等。不同的状态后端可以配置不同的状态保留策略。例如，如果使用基于内存的状态后端，
阅读全文
摘要：当发生故障时，Flink从最近的一致性检查点中恢复任务的状态。以下是从检查点恢复的主要步骤： 1. **加载检查点元数据和状态数据**：Flink首先加载最近一次成功的检查点的元数据和持久化的状态数据。检查点的元数据包含了关于检查点的信息，如检查点ID、生成时间和相关的任务信息等。持久化的状态数据包
阅读全文
摘要：在Flink中，各个算子（算子链中的每个算子）在收到 barrier（检查点屏障）时会执行以下操作： 1. **算子状态快照**：算子会触发对其状态的快照操作，以捕获当前状态的一致性快照。这包括算子的运行时状态、缓冲区或累加器等数据。 2. **处理挂起输入数据**：算子会将收到的 barrier
阅读全文
摘要：在Flink中，多输入的算子在决定是否可以往下发 barrier 时需要满足以下条件： 1. **输入流的 barrier 对齐**：多输入的算子必须要求所有输入流都处于 barrier 对齐状态，即收到了相同的 barrier。这意味着所有输入流的上游任务都已经收到了相同的 barrier，并向下
阅读全文
摘要：在Flink中，Keyed State（键控状态）和 Operator State（操作符状态）是两种不同类型的状态，用于在算子执行过程中维护和管理数据。 **Keyed State**： - Keyed State是与特定键关联的状态，它与特定键值对相关联，并且根据键进行分区和管理。在Keyed
阅读全文
摘要：在Flink中，广播流（Broadcast Stream）是一种特殊的数据流类型，用于将一个数据流广播到所有并行任务中，以供每个任务共享和使用。广播流通常用于将静态数据（如维表数据）发送给所有任务，以便任务可以在本地缓存该数据，避免多次访问外部存储系统。 广播流的特点如下： - 广播流只有一个并行度
阅读全文
摘要：下面是一个使用Redis作为维表输入的Flink示例代码： ```java import org.apache.flink.api.common.functions.RichFlatMapFunction; import org.apache.flink.api.common.state.MapSt
阅读全文
摘要：今天阅读了一下flink v1.14的代码，首先分析一下flink启动的过程。 首先分2种，一种是SessionClusterEntrypoint，一种是JobClusterEntrypoint。分别对应session 模式和per-job模式。 session模式就是一次启动，可以执行多个job，
阅读全文
摘要：今天主要看SeaTunnel自研的数据同步引擎，叫Zeta。 首先，如果使用的是zeta引擎，那么第一步一定是运行bin/seatunnel-cluster.sh脚本，这个脚本就是启动zeta的服务端的。 打开seatunnel-cluster.sh看看，可以看到其实是去启动seatunnel-co
阅读全文
摘要：在Hazelcast中，`ManagedService`接口中定义的方法的执行顺序如下： 1. `init(NodeEngine nodeEngine, Properties properties)`: 此方法在服务初始化时调用，允许你执行一些初始化逻辑或设置。 2. `reset()`: 此方法在
阅读全文
摘要：在Hazelcast中，`NodeExtension`接口是一个扩展点，用于自定义和定制节点级别的行为。它定义了以下方法： 1. `void beforeStart(Node node, Properties properties)` 此方法在节点启动之前调用。它允许你在节点启动之前执行一些自定义逻
阅读全文
摘要：下面是一个使用Java实现的Hazelcast分布式计算的示例代码： ```java import com.hazelcast.core.Hazelcast; import com.hazelcast.core.HazelcastInstance; import com.hazelcast.core
阅读全文
