摘要：
随着机器学习模型的复杂性和能力不断增加。提高大型复杂模型在小数据集性能的一种有效技术是知识蒸馏，它包括训练一个更小、更有效的模型来模仿一个更大的“教师”模型的行为。 在本文中，我们将探索知识蒸馏的概念，以及如何在PyTorch中实现它。我们将看到如何使用它将一个庞大、笨重的模型压缩成一个更小、更高效 阅读全文
摘要：
AUC到底代表什么呢，我们从另外一个角度解释AUC，我们先看看一个auc曲线 蓝色曲线下的面积(我的模型的AUC)比红线下的面积(理论随机模型的AUC)大得多，所以我的模型一定更好。 我的模型比随机模型好多少呢?理论随机模型只是对角线，这条对角线下的面积是0.5，我们的模型的AUC是0.75 那么这 阅读全文
摘要：
交叉验证应用于时间序列需要注意是要防止泄漏和获得可靠的性能估计本文将介绍蒙特卡洛交叉验证。这是一种流行的TimeSeriesSplits方法的替代方法。 时间序列交叉验证 TimeSeriesSplit通常是时间序列数据进行交叉验证的首选方法。下图1说明了该方法的操作方式。可用的时间序列被分成几个大 阅读全文
摘要：
文档理解是从pdf、图像和Word文档中提取关键信息的技术。这篇文章的目标是提供一个文档理解模型的概述。 文档理解算法使用编码器-解码器结构分析文档内容，该管道结合了计算机视觉(CV)和自然语言处理(NLP)方法。管道的CV部分将文档作为输入图像进行分析，生成transformer可以处理的表示形式 阅读全文
摘要：
TensorFlow Probability是一个构建在TensorFlow之上的Python库。它将我们的概率模型与现代硬件(例如GPU)上的深度学习结合起来。 极大似然估计 最大似然估计是深度学习模型中常用的训练过程。目标是在给定一些数据的情况下，估计概率分布的参数。简单来说，我们想要最大化我们 阅读全文
摘要：
2672篇主要论文，63场研讨会，7场受邀演讲，包括语言模型、脑启发研究、扩散模型、图神经网络……NeurIPS包含了世界级的AI研究见解，本文将对NeurIPS 2022做一个全面的总结。 第36届Neural Information Processing Systems Conference(N 阅读全文
摘要：
重新思考的注意力机制，Performers是由谷歌，剑桥大学，DeepMind，和艾伦图灵研究所发布在2021 ICLR的论文已经超过500次引用 传统的Transformer的使用softmax 注意力，具有二次空间和时间复杂度。Performers是Transformer的一个变体，它利用一种新 阅读全文
摘要：
神经网络有许多影响模型性能的超参数。一个最基本的超参数是学习率(LR)，它决定了在训练步骤之间模型权重的变化程度。在最简单的情况下，LR值是0到1之间的固定值。 选择正确的LR值是具有挑战性。一方面较大的学习率有助于算法快速收敛，但它也会导致算法在最小值附近跳跃而没有达到它，甚至在它太大时跳过它。另 阅读全文
摘要：
利用统计测试和机器学习分析和预测太阳能发电的性能测试和对比 本文将讨论通过使用假设测试、特征工程、时间序列建模方法等从数据集中获得有形价值的技术。我还将解决不同时间序列模型的数据泄漏和数据准备等问题，并且对常见的三种时间序列预测进行对比测试。 介绍 时间序列预测是一个经常被研究的话题，我们这里使用使 阅读全文
摘要：
一提到特征工程，我们立即想到是表格数据。但是我们也可以得到图像数据的特征，提取图像中最重要的方面。这样做可以更容易地找到数据和目标变量之间的映射。 这样可以使用更少的数据和训练更小的模型。更小的模型可以减少预测所需的时间。这在部署到边缘设备时特别有用。另一个好处是，可以更确定模型使用什么来进行这些预 阅读全文