随笔分类 - [39] 模式识别/机器学习/优化
摘要:白化 白化(Whitening)是一种重要的预处理方法,用来降低输入数据特征之间的冗余性.输入数据经过白化处理后,特征之间相关性较低,并且所有特征具有相同的方差.白化的一个主要实现方式是使用主成分分析(Principal Component Analysis, PCA)方法去除掉各个成分之间的相关性
阅读全文
摘要:「注意力机制」更像是一种方法论。没有严格的数学定义,而是根据具体任务目标,对关注的方向和加权模型进行调整。 简单的理解就是,在神经网络的隐藏层,增加「注意力机制」的加权,使不符合注意力模型的内容弱化或者遗忘。 从Attention的作用角度出发,我们就可以从两个角度来分类Attention种类:Sp
阅读全文
摘要:以下内容来自:https://blog.csdn.net/qq_58535145/article/details/122598783 一、主成分分析1、动机:多个变量之间往往存在一定的相关性,可以通过线性组合的方式从中提取信息。2、主成分分析:将原始的n维数据投影到低维空间,并尽可能的保留更多的信息
阅读全文
摘要:AttributeError:Gensim 4.0.0中已从KeyedVector中删除vocab属性 File "C:\Python38\lib\site-packages\gensim\models\keyedvectors.py", line 735, in vocab raise Attri
阅读全文
摘要:E:\Eprogramfiles\Anaconda3\python.exe E:/beats.pyE:\Eprogramfiles\Anaconda3\lib\site-packages\numpy\__init__.py:148: UserWarning: mkl-service package
阅读全文
摘要:ImportError: cannot import name 'newaxis' from 'tensorflow.python.ops.numpy_ops.np_array_ops' ImportError: cannot import name 'newaxis' from 'tensorfl
阅读全文
摘要:ImportError: cannot import name 'LightningEnum' from 'pytorch_lightning.utilities' (E:\Eprogramfiles\Anaconda3\lib\site-packages\pytorch_lightning\uti
阅读全文
摘要:Jaccard相似系数 Jaccard相似系数衡量的则是两个集合的相似性,它定义为两个集合的交集元素在并集中所占的比例。 与Jaccard相似系数相反,Jaccard距离则用不同元素所占的比例来衡量两个集合的区分度。 Jaccard index, 又称为Jaccard相似系数(Jaccard sim
阅读全文
摘要:以使用聚类算法将具有较大依赖关系( 冗余度高) 的特征聚集到一起。 特征聚类 ,其基本思想是根据特征与特征之间相关性及特征与特征簇之间的相关性将特征集划分成多个簇群。
阅读全文
摘要:强化学习(Reinforcement Learning, RL),又称再励学习、评价学习或增强学习,是机器学习的范式和方法论之一,用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题 。 强化学习的常见模型是标准的马尔可夫决策过程(Markov De
阅读全文
摘要:以下内容来自 https://zhuanlan.zhihu.com/p/37091549 为什么有图卷积神经网络(引言,可跳过) 自2012年以来,深度学习在计算机视觉以及自然语言处理两个领域取得了巨大的成功。和传统方法相比,它好在哪里呢? 假设有一张图,要做分类,传统方法需要手动提取一些特征,比如
阅读全文
摘要:生成对抗网络GAN(Generative Adversarial Network) 2014年Szegedy在研究神经网络的性质时,发现针对一个已经训练好的分类模型,将训练集中样本做一些细微的改变会导致模型给出一个错误的分类结果,这种虽然发生扰动但是人眼可能识别不出来,并且会导致误分类的样本被称为对
阅读全文
摘要:The nearest neighbor graph (NNG)近邻图 is a directed graph defined for a set of points in a metric space, such as the Euclidean distance in the plane. Th
阅读全文
摘要:https://www.cnblogs.com/mantch/p/11287075.html 1. 什么是KNN 1.1 KNN的通俗解释 何谓K近邻算法,即K-Nearest Neighbor algorithm,简称KNN算法,单从名字来猜想,可以简单粗暴的认为是:K个最近的邻居,当K=1时,算
阅读全文
摘要:https://zhuanlan.zhihu.com/p/64361703 https://github.com/ChristosChristofidis/awesome-deep-learning Table of Contents Books Courses Videos and Lecture
阅读全文
摘要:计算机视觉 Computer Vision 会议: AAAI: AAAI Conference on Artificial IntelligenceACCV: Asian Conference on Computer VisionACM MM: ACM International Conferenc
阅读全文
摘要:最近深度学习两巨头 Bengio 和 LeCun 在 ICLR 2020 上点名 Self-Supervised Learning(SSL,自监督学习) 是 AI 的未来,而其的代表的 Framework 便是 Contrastive Learning(CL,对比学习)。 另一巨头 Hinton 和
阅读全文
摘要:2021-06-01 10:32:15.183997: W tensorflow/python/util/util.cc:348] Sets are not currently considered sequences, but this may change in the future, so c
阅读全文
摘要:from keras.utils import to_categorical module 'tensorflow.compat.v2' has no attribute '__internal__ from keras.utils import to_categorical $ python te
阅读全文
摘要:验证集loss上升,准确率却上升 验证集loss上升,acc也上升这种现象很常见,原因是过拟合或者训练验证数据分布不一致导致,即在训练后期,预测的结果趋向于极端,使少数预测错的样本主导了loss,但同时少数样本不影响整体的验证acc情况。ICML2020发表了一篇文章:《Do We Need Zer
阅读全文