随笔分类 - AI问题汇总
摘要：## 神经网络中的超参数主要有哪些？ 神经网络中的超参数主要分为2类： 1）网络结构相关：网络中间层数量，类型（全连接、丢弃层、归一化、卷积层、全连接层等）、每层神经元数量、激活函数等。 2）模型训练相关：损失函数、优化方法、批次大小、迭代次数、学习率、正则方法和系数、初始化方法等。 ## 优化器的
阅读全文
摘要：1）什么是决策树？ 决策树的核心思想是：相似的输入必然产生相似的输出。决策树通过把数据样本分配到树状结构的某个叶子节点来确定数据集中样本所属的分类。决策树可用于回归和分类。当用于回归时，预测结果为叶子节点所有样本的均值。 2）决策树的特点 ①优点 简单易懂，容易解释，可视化，适用性广。可用于分类、回
阅读全文
摘要：1）什么是线性回归 线性回归是指：通过数据样本，找到一个最佳拟合数据样本的线性模型，并用于预测。线性方程的一般表达形式为： y = w 0 + w 1 x y = w_0 + w_1x y=w0+w1x 其中，x和y为已知， w 0 , w 1 w_0,w_1 w0,w1是要经过学习获得的参
阅读全文
摘要：1）什么是卷积函数？ 卷积函数是指一个函数和另一个函数在某一个纬度上的加权“叠加”作用，其表达式为： s ( t ) = ∫ − ∞ + ∞ f ( a ) ∗ g ( t − a ) d a s(t) = \int ^{+\infty}_{-\infty}f(a)*g(t-a)da s(t)=∫−
阅读全文
摘要：二元分类 1）什么是二元分类？ 二元分类又称逻辑回归，是将一组样本划分到两个不同类别的分类方式。 2）如何实现二元分类 逻辑回归属于广义线性回归模型，使用线性模型计算函数值，在通过逻辑函数将联系值进行离散化处理。逻辑函数又称sigmoid函数，表达式为： y = 1 1 + e − t y = \f
阅读全文
摘要：1）在图像分类任务中，训练数据不足会带来什么问题？ 当训练数据不足时，说明模型从原始数据中获取的信息比较少，这种情况下要保证模型的效果，就需要更多鲜艳信息，具体到图像分类任务上。 训练数据不足带来的问题主要表现在过拟合方面，即模型在训练样本上的效果可能不错，但在测试集上的泛华效果不佳。 2）如何缓解
阅读全文
摘要：1、什么是梯度 梯度是一个向量，表示某一函数在该点处的方向导数沿该方向取得最大值，即函数在该点处沿着该方向变化最快，变化率最大。 2、什么是梯度下降 梯度下降是一个最优化的算法，用来递归性地逼近最小偏差模型，核心思想是按照梯度相反的方向，不停地调整函数权值，步骤为： 1）求损失函数值 2）损失是否最
阅读全文
摘要：1）什么是多项式回归？ 多项式回归是指：根据样本数据，用高次多项式模型来最佳程度拟合样本的回归方法。多项式回归中，加入了特征的更高次方（例如平方项或立方项），也相当于增加了模型的自由度，用来捕获数据中非线性的变化。多项式回归模型一般表达式为： y = w 0 + w 1 x + w 2 x 2 +
阅读全文
摘要：1）什么是学习率，作用是什么？ 在梯度下降法中，都是给定统一的学习率，整个优化过程中都以确定的步长进行更新，在迭代优化的前期中，学习率较大，则前进的步长就会较长，这时便能以较快的速度进行梯度下降，而在迭代优化后期，逐步减小学习率的值，减小步长，这样有助于算法的收敛，更容易接近最优解 2）学习率过大或
阅读全文
摘要：激活函数： 神经网络中将输入信号的总和转换为输出信号的函数，激活函数将多层感知机输出转换为非线性，使得神经网络可以任意逼近任何非线性函数，使神经网络可以应用到众多的非线性模型中。 常用的激活函数及特点： 1）sigmoid ① 定义：sigmoid函数也叫Logistic函数，用于隐层神经元输出，能
阅读全文
摘要：1. 什么是前馈神经网络 前馈神经网络又称多层感知机，是典型的深度学习模型。它是一种单向多层结构，其中每一层包含若干个神经元。在此种神经网络总，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫隐含层，隐含层可以是一层，也可以是多层。整个网络中无反
阅读全文
摘要：1）什么是监督学习、非监督学习 监督学习：使用已知正确答案的示例来训练网络。已知数据和其一一对应的标签，训练一个预测模型，将输入数据映射到标签的过程。非监督学习：在非监督学习中，数据并不被特别标识，适用于具有数据集但无标签的情况。学习模型是为了推断出数据的一些内在结构，如GAN 2）监督学习、非监督
阅读全文
摘要：决策树分类 决策树分类和决策树回归思想基本相同，不同的是，决策树分类器输出为离散值。通过决策树进行分支处理，最后落到叶子节点上，使用投票的方式来决定预测结果属于哪个类别。 支持向量机 1）什么是支持向量机？ 支持向量机是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化
阅读全文
摘要：1）什么是欠拟合、过拟合？ 欠拟合指的是模型在训练和预测时表现都不好的情况。 欠拟合： 1. 模型复杂度不够 2. 特征太少 3. 模型层次太低 过拟合是指模型对于训练数据拟合呈过当的情况，反映到评估指标上，就是模型在训练集上表现很好，但在测试集和新数据上表现较差。 过拟合： 1. 训练数量小 2.
阅读全文
摘要：请列举AlexNet的特点 使用ReLU作为激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了sigmoid在网络较深时梯度消失问题 使用dropout（丢弃学习）随机忽略一部分神经元防止过拟合 在CNN中使用重叠的最大池化，此前CNN中普遍使用平均池化，AlexNet全部使用最大池
阅读全文
摘要：1） 什么是损失函数，损失函数的作用是什么？ 损失函数，用来度量预测值和实际值之间的差异，从而作为模型性能参考依据。损失值越小，说明预测输出和实际结果之间的差值就越小，也就说明我们构建的模型越好，反之说明模型越差。 2）什么是交叉熵，其作用是什么？ 交叉熵主要用于度量两个概率分布之间的差异信息，在机
阅读全文
摘要：1）归一化是指归纳同意样本的统计分布性，归一化在0-1之间是统计概率分布，归一化在-1 +1之间是统计的坐标分布。 2）归一化处理的目的 为了后面数据处理方便，归一化可以避免一些不必要的数值问题。为了程序运行时收敛加快。统一量纲。样本数据的评价标准不一样，需要对其量纲化，统一评价标准。 3）什么是批
阅读全文
摘要：1）什么是激活函数，为什么要用激活函数？ 激活函数，指神经网络中将输入信号的总和转换为输出信号的函数，激活函数将多层感知机输出转换为非线性，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 2）神经网络中常用的激活函数有哪些，各自有什么特点？ （1）sigmoid
阅读全文
摘要：1. 基本概念 1） 什么是聚类问题 聚类是指根据数据本身的特征，将样本按照相似度划分为不同的类簇，从而揭示样本之间内在的性质以及相互之间的联系规律。聚类属于无监督学习。 2）好的聚类算法有哪些特征？ 良好的可伸缩性。不仅能在小数据集上拥有良好性能，得到较好聚类结果，而且在处理大数据集同时同样有较好
阅读全文
摘要：在神经网络的学习中，权重的初始值特别重要。实际上，设定什么样的权重初始值，经常关系到神经网络的学习能否成功。 1）权重初始值不能设置为0 如果把权重初始值全部设为0，在误差反向传播法中，所有的权重值都会进行相同的更新，神经网络将无法正常学习。比如，在2层神经网络中，假设第1层和第2层的权重为0。这样
阅读全文
