datawhale深度学习入门：task1学习笔记

机器学习是一种人工智能的分支，它主要涉及通过经验和数据来训练计算机模型以自动处理任务或进行预测。这些模型可以利用算法和数学模型来分析和学习数据，然后使用这些知识来执行特定的任务，如图像识别、语音识别、自然语言处理、数据分类、趋势预测等。深度学习是人工智能 (AI) 中的一种方法，它通过建立起一个复杂的神经网络模型，教会计算机以受人脑启发的方式处理数据。深度学习模型可以识别图片、文本、声音和其他数据中的复杂模式，从而产生准确的见解和预测。

回归分析是一种统计学方法，用于确定一个或多个因变量和一个或多个自变量之间的定量关系，然后用它们来预测未知数据的值。回归分析可分为一元回归和多元回归，简单回归和多重回归，线性回归和非线性回归。分类任务要让机器做选择题。人类先准备好一些选项，这些选项称为类别（class），现在要找的函数的输出就是从设定好的选项里面选择一个当作输出，该任务称为分类。假设模型y = b + w ∗ x1中， b 跟 w 是未知的参数（parameter）。带有未知的参数（parameter）的函数称为模型（model）。特征（feature） x1 是这个函数里面已知的，w 称为权重（weight），b 称为偏置（bias）。损失函数在机器学习中用来衡量模型预测结果与实际结果之间差异的函数。其值越小，代表模型预测结果越接近实际结果。在训练模型时，需要通过不断调整模型参数来最小化损失函数的值。常见的损失函数包括均方误差、交叉熵等。平均绝对误差一种常用的预测精度评估指标，又称平均绝对百分误差，用于衡量预测值与真实值之间的误差程度，以百分比的形式表示。MAE的计算公式为：将所有绝对误差的和除以样本量。均方误差一种评估模型预测结果与真实值之间误差大小的指标。它是指预测值与真实值之差的平方值的平均数。MSE越小，说明模型的预测结果越准确。它通常用于评估回归模型的性能。

交叉熵是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。 人工智能语境下，指多类别分类问题中对 Log 损失函数的推广。交叉熵量化两个概率分布之间的区别，用于度量两个概率分布间的差异性信息。语言模型的性能也通常用交叉熵和复杂度来衡量，将交叉熵引入计算语言学消歧领域。

误差表面表示模型误差的超曲面，它描述了模型权重参数与模型误差之间的关系。这个超曲面的每个点都对应模型在特定权重下的误差值。通过分析误差表面，可以更好地选择和调整训练算法及参数，从而找到全局最优解或可接受的局部最优解。这对提升模型的泛化能力和预测精度至关重要。误差表面是一个重要的概念，它揭示了模型参数与其误差之间的关系，并指导我们如何通过优化方法找到最佳的参数值，以提升模型的性能。

“梯度下降”是一个常用的优化算法，用于求解目标函数的最优解或局部最优解。它通过不断调整模型参数的值，使目标函数的值逐渐下降。具体来讲，每次迭代时，它计算目标函数的梯度（即函数在当前点处的斜率），并朝着梯度的反方向更新参数值，以使函数值下降。这个过程一直持续到目标函数的值收敛（即不再变化或变化极小），此时，算法得到的参数值就是目标函数的最优解或近似最优解。学习率是机器学习算法中的一个参数，用来控制模型在每次迭代中对数据学习的速率。它表示模型每次更新参数时改变的量的大小。学习率越小，模型对数据的学习速度越慢，但可以降低其过拟合的风险；学习率越大，模型对数据的学习速度越快，但容易导致过拟合或者不稳定。

超参数是机器学习算法中的一种参数，它通常是在算法运行之前设置的。与模型学习时自动获得的参数不同，超参数在运行模型之前必须由数据科学家或开发者选择并设置。一些常见的超参数包括学习率、正则化参数、分类器种类等。超参数的选择往往会影响模型的性能和准确度，因此需要进行反复的试验和调整。

全局最小值是指在机器学习中，通过梯度下降算法优化的误差表面中，最低的点或区域，它代表了模型最优的参数设置，可以使得损失函数取得最小值。它对应于模型最佳性能的状态，即在训练数据集上达到最低的预测误差。在实际应用中，找到全局最小值往往面临许多挑战，因为误差表面可能非常复杂，有时甚至难以判断一个最小值是全局的还是局部的。局部最小值是指在梯度下降算法中，模型参数更新到某个点时，该点的梯度为零，且在该点附近的小范围内，该点的函数值小于或等于其他点的函数值。然而，它并非整个函数范围内的最小值点。