摘要:
梯度的尺度保持不变: 利用阿达玛乘积,梯度的尺度不会因为层数的增加而减小或增大,因为每次乘积都是独立的元素乘法,不涉及整个矩阵的缩放。总的来说,阿达玛乘积不会像矩阵乘积那样导致梯度消失或梯度爆炸,因为它不涉及线性变换的累积效应,而是对梯度进行逐元素的操作。这使得LSTM等网络结构在处理长序列时更加稳 阅读全文
摘要:
扩散模型 扩散模型源于物理学,它最初是用于描述物质扩散的数学模型。 研究人员通过将扩散模型与人工神经网络相结合,发现了它在图像生 成领域的巨大潜力。 1、扩散模型是如何“扩散”的 扩散模型是一类生成模型,它运用了物理热力学中的扩散思想, 主要包括前向扩散和反向扩散两个过程。 1)前向过程 前向过程是 阅读全文
摘要:
自然语言处理综述 自然语言处理涉及许多领域,包括词汇、句法、语义和语用分析,文本分类、情感分析、自动摘要、机器 翻译和社会计算等。 自然语言处理主要分两个流程:自然语言理解(NLU)和自然语言生成(NLG) 处理流程大致可分为五步: 第一步获取语料。 第二步对语料进行预处理,其中包括语料清理、分词、 阅读全文
摘要:
AlexNet 2012 年,AlexNet[4]的出现让全世界见 证了卷积神经网络(Convolutional Neural Networks, CNN)的强大特征学习能力,传统的手工设计特征方 式逐渐被取代,目标检测也随之进入深度学习时代。 以下来源:Title:目标检测综述:从传统方法到深度学 阅读全文