随笔分类 - 【人工智能】深度学习
摘要:@目录网络整体结构时间嵌入层下、上采样块残差块注意力模块组归一化层 网络整体结构 class VideoConditionalUNet(nn.Module): def __init__(self, in_channels=4, out_channels=3, condition_dim=256):
阅读全文
摘要:注意力机制(Attention Mechanism)是深度学习中一种模仿人类认知能力的核心技术,通过动态分配权重来聚焦输入数据的关键部分。它在自然语言处理(NLP)、计算机视觉(CV)和多模态任务中广泛应用,尤其因Transformer模型的成功而成为现代AI的核心组件。以下是注意力机制的详细解析:
阅读全文
摘要:在卷积神经网络中,输出形状的公式并非凭空而来,而是通过卷积操作的基本原理逐步推导得出的。 一、卷积输出形状的通用公式 对于 3D 卷积,输出形状的每个维度(时间 \(T\)、高度 \(H\)、宽度 \(W\))计算公式为: \[\text{Output} = \left\lfloor \frac{\
阅读全文
摘要:目录三者的区别基座模型(Base Model)聊天模型(Chat Model)指令模型(Instruction Model)总结示例基座模型(Base Model)聊天模型(Chat Model)指令模型(Instruction Model)大白话解释基座模型(Base Model)聊天模型(Cha
阅读全文
摘要:目录常用损失函数均方误差函数(mean squared error)交叉熵误差函数(cross entropy error)/对数损失函数(log loss function)数值微分(numerical gradient)前向差分(forward difference)后向差分(backward
阅读全文
摘要:目录神经网络(neural network)的结构神经元中常用的激活函数(activation function)神经网络的表示神经网络的代码实现使用已学习完毕的神经网络进行推理(inference) 源代码文件请点击此处! 神经网络(neural network)的结构 输入层(input lay
阅读全文