deephub

摘要： 数据预处理是机器学习生命周期的非常重要的一个部分。特征工程又是数据预处理的一个重要组成， 最常见的特征工程有以下一些方法： 编码 缩放 转换 离散化 分离 等等 在本文中主要介绍特征缩放和特征编码的主要方法。 特征缩放 特征缩放是一种在固定范围内对数据中存在的独立特征进行标准化的技术。有些机器学习模 阅读全文

摘要： 大型网站类目目录的数量很大，一般都无法进行手动标记，所以理解大型目录的内容对在线业务来说是一个重大挑战，并且这使得对于新产品发现就变得非常困难，但这个问题可以通过使用自监督神经网络模型来解决。 在过去我们一直使用人工在系统中进行产品的标记，这样的确可以解决问题但是却耗费了很多人力的成本。如果能够创建 阅读全文

摘要： 什么是CodeBert CodeBERT是微软在2020年开发的BERT模型的扩展。它是一个用于编程语言(PL)和自然语言(NL)的双峰预训练模型，可以执行下游的(NL-PL)任务，这个模型使用6种编程语言(Python, Java, JavaScript, PHP, Ruby, Go)进行NL-P 阅读全文

摘要： 文档理解是文档处理和提取中最重要的步骤。这是从非结构化或半结构化文档中提取信息并将其转换为结构化形式的过程。提取后的结构化表示可以支持各种下游任务，例如信息检索，汇总，分类等。有许多不同的方法可以理解文档，但它们都有一个共同的目标:创建文档内容的结构化表示，以便用于进一步的处理。 对于半结构化文档， 阅读全文

摘要： KernelSHAP 和 TreeSHAP 都用于近似 Shapley 值。TreeSHAP 的速度很快，但是它只能用于基于树的算法，如随机森林和 xgboost。而KernelSHAP 与模型无关。这意味着它可以与任何机器学习算法一起使用。我们将比较这两种近似方法。 本文中的实验，将展示 Tree 阅读全文

摘要： 在这篇文章中，我们将讨论分布式学习和联邦学习的主要原理以及它们是如何工作的。首先，我们从一个简单的单机示例开始，然后将其发展为分布式随机梯度下降（D-SGD），最后是联邦学习（FL）。 集中学习（单机） 一个最简单的例子，我们想学习人的身高和体重之间的线性关系，并且我们拥有100人的体重和身高数据， 阅读全文

摘要： 在学习贝叶斯计算的解马尔可夫链蒙特卡洛(MCMC)模拟时，最简单的方法是使用PyMC3，构建模型，调用Metropolis优化器。但是使用别人的包我们并不真正理解发生了什么，所以本文通过手写Metropolis-Hastings来深入的理解MCMC的过程，再次强调我们自己实现该方法并不是并不是为了造 阅读全文

摘要： 前几天的文章中我们提到MAE在时间序列的应用，本篇文章介绍的论文已经将MAE的方法应用到图中，这是来自[KDD2022]的论文GraphMAE: Self-supervised Masked Graph Autoencoders 生成学习与对比学习 自监督学习从大量的无监督数据中挖掘出自己需要的的监 阅读全文

摘要： 贪婪搜索是在每个时间步中选择概率最高的单词，也是我们最常用的一种方法，Beam Search不取每个标记本身的绝对概率，而是考虑每个标记的所有可能扩展。然后根据其对数概率选择最合适的标记序列。 例如令牌的概率如下所示: 例如，Pancakes + looks时间段1的概率等效于： Pancakes 阅读全文

摘要： 在本文中将使用Python演示如何解析文档(如pdf)并提取文本，图形，表格等信息。 文档解析涉及检查文档中的数据并提取有用的信息。它可以通过自动化减少了大量的手工工作。一种流行的解析策略是将文档转换为图像并使用计算机视觉进行识别。而文档图像分析(Document Image Analysis)是指 阅读全文