摘要：
新神经网络架构设计的最新进展之一是注意力模块的引入。首次出现在在NLP 上的注意力背后的主要思想是为数据的重要部分添加权重。在卷积神经网络的情况下，第一个注意机制是在卷积块注意模型中提出的。其中注意机制分为两个部分:通道注意模块和空间注意模块。 空间注意模块通过将图像分解为两个通道，即最大池化和跨通 阅读全文
摘要：
教师学生模型、伪标签、半监督学习和图像分类 使用 Noisy Student 进行自训练改进 ImageNet 分类是一篇由 Google Research、Brain Team 和Carnegie Mellon大学发表在2020 CVPR的论文 Noisy Student在训练时使用相等或更大的学 阅读全文
摘要：
SpaCy 是一个免费的开源库，用于 Python 中的高级自然语言处理包括但不限于词性标注、dependency parsing、NER和相似度计算。它可帮助构建处理和理解大量文本的应用程序可用于多种方向，例如信息提取、自然语言理解或为深度学习提供文本预处理。 SpaCy 诞生于2014年年中（并 阅读全文
摘要：
本文中将研究如何基于消息传递机制构建图卷积神经网络，并创建一个模型来对具有嵌入可视化的分子进行分类。 假设现在需要设计治疗某些疾病的药物。有一个其中包含成功治疗疾病的药物和不起作用的药物数据集，现在需要设计一种新药，并且想知道它是否可以治疗这种疾病。如果可以创建一个有意义的药物表示，就可以训练一个分 阅读全文
摘要：
未标记的数据由监督学习网络标记，即所谓的伪标记。然后使用标记数据和伪标记数据训练网络。 伪标签 (Pseudo-Labels) 伪标签是对未标记数据的进行分类后的目标类，在训练的时候可以像真正的标签一样使用它们，在选取伪标签的时使用的模型为每个未标记样本预测的最大预测概率的类： 伪标签可以用于带有 阅读全文
摘要：
在本文中，我列出了当今最常用的 NLP 库，并对其进行简要说明。它们在不同的用例中都有特定的优势和劣势，因此它们都可以作为专门从事 NLP 的优秀数据科学家备选方案。每个库的描述都是从它们的 GitHub 中提取的。 NLP库 以下是顶级库的列表，排序方式是在GitHub上的星数倒序。 1、Hugg 阅读全文
摘要：
正态分布是高斯概率分布。高斯概率分布是反映中心极限定理原理的函数，该定理指出当随机样本足够大时，总体样本将趋向于期望值并且远离期望值的值将不太频繁地出现。高斯积分是高斯函数在整条实数线上的定积分。这三个主题，高斯函数、高斯积分和高斯概率分布是这样交织在一起的，所以我认为最好尝试一次性解决这三个主题（ 阅读全文
摘要：
这是一个我已经断断续续地研究了很长一段时间的项目。在此项目之前我从未尝试过修改游戏，也从未成功训练过“真正的”强化学习代理（智能体）。所以这个项目挑战是：解决钓鱼这个问题的“状态空间”是什么。当使用一些简单的 RL 框架进行编码时，框架本身可以为我们提供代理、环境和奖励，我们不必考虑问题的建模部分。 阅读全文
摘要：
当我们需要对数据集进行聚类时，我们可能首先研究的算法是 K means, DBscan, hierarchical clustering 。那些经典的聚类算法总是将每个数据点视为一个点。但是，这些数据点在现实生活中通常具有大小或边界（边界框）。忽略点的边缘可能会导致进一步的偏差。RVN算法是一种考虑 阅读全文
摘要：
为了提高机器学习应用程序的效率和质量，工业规模机器学习模型不断增加的复杂性刺激了对自动超参数调整方法的研究， 尽管自动超参数调整现是许多数据系统的重要组成部分，但最先进方法的有限可扩展性已成为瓶颈。 为了解决这个问题，北京大学、苏黎世联邦理工学院和快手科技的研究团队提出了 Hyper-Tune，这是 阅读全文