12 2021 档案
摘要:对于 Graph ML 来说2021年是重要的一年——成千上万的论文、无数的会议和研讨会......说明这个领域是在蓬勃的发展。我将Graph ML 这一年的进展进行结构化的展示,并重点介绍 🔥 趋势和主要进步。 无论您是在研究细分的主题还是刚开始使用 Graph ML - 我们都希望这篇文章是一
阅读全文
摘要:还记得LeCun被拒的论文VICReg吗,今天我们就来说说它 在深度网络中权重和激活那个更重要?显然是权重,因为我们可以从权重推导出网络的激活。但是深度网络是非线性嵌入函数;我们只想要这种非线性嵌入。在这种嵌入基础上进行训练并获得结果(例如分类),我们要么需要在分类网络中使用线性分类器,要么需要在输
阅读全文
摘要:在以前的文章中我们介绍过一些基于遗传算法的知识,本篇文章将使用遗传算法处理机器学习模型和时间序列数据。 超参数调整(TPOT ) 自动机器学习(Auto ML)通过自动化整个机器学习过程,帮我们找到最适合预测的模型,对于机器学习模型来说Auto ML可能更多的意味着超参数的调整和优化。 在这里我们使
阅读全文
摘要:前两篇文章我们已经介绍了自回归模型PixelCNNs,以及如何处理多维输入数据,本篇文章我们将关注 PixelCNNs 的最大限制之一(即盲点)以及如何改进以修复它。 在前两篇文章中,我们介绍了生成模型PixelCNN 概念并研究了彩色 PixelCNN 的工作原理。PixelCNN 是一种学习像素
阅读全文
摘要:本篇文章将分享5个很棒但是却不被常被提及的Python库,这些库可以帮你解决各种自然语言处理(NLP)工作。 Contractions Contractions它可以扩展常见的英语缩写和俚语。并且可以快速、高效的处理大多数边缘情况,例如缺少撇号。 例如:以前需要编写一长串正则表达式来扩展文本数据中的
阅读全文
摘要:关系提取( Relation Extraction)是一项自然语言处理任务,旨在提取实体之间的关系。例如,从句罗密欧与朱丽叶是由威廉莎士比亚写的,我们可以提取关系三元组(威廉莎士比亚,是罗密欧与朱丽叶的作者)。 关系提取是自动知识图谱构建中的一项关键技术。通过关系提取,我们可以累积提取新的关系事实,
阅读全文
摘要:关联规则是以规则的方式呈现项目之间的相关性:关联规则(Association Rules)是反映一个事物与其他事物之间的相互依存性和关联性,是数据挖掘的一个重要技术,用于从大量数据中挖掘出有价值的数据项之间的相关关系。 关联规则的经典例子是通过发现顾客放入其购物篮中的不同商品之间的联系,可分析顾客的
阅读全文
摘要:DeepMind 和 Google Brain 研究人员以及前世界国际象棋冠军Vladimir Kramnik通过概念探索、行为分析和对其激活的检查,探索了人类知识是如何获得的,以及国际象棋概念如何在 AlphaZero 神经网络中表示。 AlphaZero 在短短四个小时内掌握了所有国际象棋专业知
阅读全文
摘要:Doc2Vec 是一种无监督算法,可从可变长度的文本片段(例如句子、段落和文档)中学习嵌入。它最初出现在 Distributed Representations of Sentences and Documents 一文中。 Word2Vec 让我们先回顾一下 Word2Vec,因为它为 Doc2V
阅读全文
摘要:由于机器学习算法的输入形式是一种数值型向量(numeric vectors),所以攻击者就会通过设计一种有针对性的数值型向量从而让机器学习模型做出误判,这便被称为对抗性攻击。和其他攻击不同,对抗性攻击主要发生在构造对抗性数据的时候,该对抗性数据就如正常数据一样输入机器学习模型并得到欺骗的识别结果。
阅读全文
摘要:图结构在现实世界中随处可见。道路、社交网络、分子结构都可以使用图来表示。图是我们拥有的最重要的数据结构之一。 今天有很多的资源可以教我们将机器学习应用于此类数据所需的一切知识。已经有很多学习有关图机器学习的相关理论和材料,特别是图神经网络,所以本文将避免在这里解释这些内容。如果你对该方面不太熟悉,推
阅读全文
摘要:对于机器学习和数据科学的初学者来说,必须清楚熵和交叉熵的概念。它们是构建树、降维和图像分类的关键基础。 在本文中,我将尝试从信息论的角度解释有关熵的概念,当我第一次尝试掌握这个概念时,这非常有帮助。让我们看看它是如何进行的。 什么是-log(p)? 信息论的主要关注点之一是量化编码和传输事件所需的总
阅读全文
摘要:我们都讨厌对文章进行冗长而毫无意义的介绍所以我就直奔主题了。2021年还有10天就过去了, 以下是我认为 2021 年最有趣、最有前途的深度学习论文。 本篇文章的目的是简单地解释它们,并结合非常简单/复杂的冗长文字,这样可以让本文对初学者和有知识的人同时都有一定的帮助。 说明:本文的主题的选择是个人
阅读全文
摘要:在过去的十年中,深度学习在解决许多以前被认为无法解决的问题方面发挥了重要作用,并且在某些任务上的准确性也与人类水平相当甚至超过了人类水平。如下图所示,更深的网络具有更高的准确度,这一点也被广泛接受并且证明。 使用更深层次的网络模型追求人类级别的准确性会带来一系列挑战,例如: 更长的推理时间 更高的计
阅读全文
摘要:能够使用代码实现最新的论文对于数据科学家来说是一项极具竞争力的技能。 如果想了解黑匣子内部发生了么,提高创造力或成为第一个将最新科学研究带入业务的开发人员 这篇文章应该可以帮到你。 我们将讨论如何选择一篇“好”的论文作为开始,这对于初学者来说会比较容易;本文中将概述典型的论文结构以及重要信息的位置;
阅读全文
摘要:了解Python代码的内存消耗是每一个开发人员都必须要解决的问题,这个问题不仅在我们使用pandas读取和处理CSV文件的时候非常重要,在我们使用GPU训练的时候还需要规划GPU的显存使用。尤其是我们在白嫖使用kaggle和colab时显得更为重要。 本篇文章我们将介绍两个 Python 库 mem
阅读全文
摘要:作为数据科学家或机器学习从业者,将可解释性集成到机器学习模型中可以帮助决策者和其他利益相关者有更多的可见性并可以让他们理解模型输出决策的解释。 在本文中,我将介绍两个可以帮助了解模型的决策过程的模型 LIME 和 SHAP。 SHAP 它是 SHapley Additive exPlanations
阅读全文
摘要:强化学习是机器学习领域的热门子项。由于 OpenAI 和 AlphaGo 等公司的最新突破,强化学习引起了游戏行业许多人的注意。我们今天以Hill Climb Racing这款经典的游戏来介绍DQN的整个概念,Hill Climb Racing需要玩家在不同的地形上驾驶不同的车辆,驾驶距离越长得分越
阅读全文
摘要:Numpy 长期以来一直是 Python 开发人员进行数组操作的通用选择,它是基于C语言构建的这使得它成为执行数组操作的快速和可靠的选择,并且它已经成为机器学习和数据科学必备的基础库。 在本文中,我整理了一些 NumPy 代码的片段,这些代码片段都是在日常开发中经常用到的。 1、创建数组 2、获取
阅读全文
摘要:在社交互动中,面部表情在非语言交流中起着至关重要的作用。 心理学家保罗·埃克曼提出,全世界的人都有七种情绪表达方式:快乐、悲伤、惊讶、恐惧、愤怒、厌恶和蔑视。 建立更好的人机交互,例如通过图像检测人类情绪,可能是一项艰巨的任务。 面部表情对于社交互动很重要,并且在非语言人机交互方面发挥着重要作用。本
阅读全文
摘要:如果你曾经训练过像 BERT 或 RoBERTa 这样的大型 NLP 模型,你就会知道这个过程是极其漫长的。由于其庞大的规模,训练此类模型可能会持续数天。当需要在小型设备上运行它们时,就会发现正在以巨大的内存和时间成本为日益增长的性能付出代价。 有一些方法可以减轻这些痛苦并且对模型的性能影响很小,这
阅读全文
摘要:监督学习是训练机器学习模型的传统方法,它在训练时每一个观察到的数据都需要有标注好的标签。如果我们有一种训练机器学习模型的方法不需要收集标签,会怎么样?如果我们从收集的相同数据中提取标签呢?这种类型的学习算法被称为自监督学习。这种方法在自然语言处理中工作得很好。一个例子是BERT¹,谷歌自2019年以
阅读全文
摘要:联邦学习也称为协同学习,它可以在产生数据的设备上进行大规模的训练,并且这些敏感数据保留在数据的所有者那里,本地收集、本地训练。在本地训练后,中央的训练协调器通过获取分布模型的更新获得每个节点的训练贡献,但是不访问实际的敏感数据。 联邦学习本身并不能保证隐私(稍后我们将讨论联邦学习系统中的隐私破坏和修
阅读全文
摘要:在过去几年中,主动学习 (AL) 策略已被证明可用于降低标签成本。但是当涉及现实世界的数据集时,当前的方法效果并不理想,现实世界的些数据集存在缺陷和许多特征,使得从中学习具有更大挑战性: 真实世界的数据集场景:(a) 稀有类:数字 5 和 8 很少见;(b) 冗余:数字 0 和 1 是冗余的;© 分
阅读全文
摘要:为什么 Pi 会出现在正态分布的方程中? 任何在大学上过统计学课程的人都遇到过这个等式。我自己也看过很多次了,但这次重新看,立刻想到了两个问题: 这东西究竟是如何形成正态分布的? π在那里做什么? 第一个问题似乎很简单也很容易弄清楚:我只需要学习方程产生的历史然后将其逐个拼凑起来。但第二个问题绝对让
阅读全文