摘要：
决策树思维导图[3] 1 信息论基础 1.1 熵 熵是度量样本集合纯度最常用的一种指标。假定当前样本集合$D$中第$k$类样本所占的比例为$p_{k}(k=1,2,...,|K|)$，则样本集合$D$的熵定义为： \(Ent(D)=-\sum_{k=1}^{K}p_{k}log_{2}p_{k}\) 阅读全文
posted @ 2021-10-30 23:15 foghorn 阅读(355) 评论(0) 推荐(0) 编辑
2021年10月30日
2021年9月25日
摘要：
生成网络的优化目标 the -logD alternative 称生成器的目标函数： \(\mathop{min}_{\theta } \mathbb{E}_{\boldsymbol z \sim p(\boldsymbol z)}\left [ log(1 - D \left (G (\bolds 阅读全文
posted @ 2021-09-25 21:38 foghorn 阅读(774) 评论(0) 推荐(0) 编辑
2021年9月21日
2021年9月17日
摘要：
生成式模型的作用 密度估计 给定一组数据$D=\left { x^{n} \right }^{N}{n=1}$，假设它们都是独立地从相同的概率密度函数为$p{r}(x)$的未知分布中产生的。密度估计是根据数据集$D$来估计其概率密度函数$p_{\theta}(x)$。 在机器学习中，密度估计是一类无 阅读全文
posted @ 2021-09-17 21:54 foghorn 阅读(484) 评论(0) 推荐(0) 编辑
2021年9月13日
摘要：
当我们的模型训练好之后，需要将其参数（或整个模型）保存起来以便日后直接使用。pytorch提供了两种方法帮助我们快速、方便地保存训练好的模型 步骤 训练模型 保存模型 加载模型 训练模型 我们以二分类问题为例，训练一个神经网络，代码如下： import torch import torch.nn.f 阅读全文
posted @ 2021-09-13 21:43 foghorn 阅读(313) 评论(0) 推荐(0) 编辑
摘要：
当我们单独使用nn.Softmax()函数时，会显示上述警告，原因是softmax（）函数已经被弃用了，虽然程序还是可以运行成功，但是这个做法不被pytorch所赞成。这个写法在早期的pytorch版本是没有警告的，现在因为其他考虑，要加上有指明dim参数。 例如： m = nn.Softmax(d 阅读全文
posted @ 2021-09-13 20:58 foghorn 阅读(454) 评论(0) 推荐(0) 编辑
摘要：
LogSoftmax(dim=None) 对n维输入张量做softmax操作并取对数。 \(LogSoftmax(x_{i})=log(\frac{exp(x_{i})}{\sum_{j}exp(x_{j})})\) shape input(*): *代表任意的维度 output(*): 和输入维度 阅读全文
posted @ 2021-09-13 16:03 foghorn 阅读(168) 评论(0) 推荐(0) 编辑
2021年9月11日
摘要：
堆叠自编码器 对于很多数据来说，仅使用两层神经网络的自编码器结构还不足以获取一种好的数据表示，为了获取更好的数据表示，我们可以使用更深层的神经网络。深层神经网络作为自编码器提取的数据表示一般会更加抽象，能够更好地捕捉到数据的语义信息。在实践中经常使用逐层堆叠的方式来训练一个深层的自编码器，称为堆叠自 阅读全文
posted @ 2021-09-11 18:13 foghorn 阅读(2290) 评论(3) 推荐(0) 编辑
2021年9月10日
摘要：
1 tensor.clone() 返回原tensor的拷贝，返回的新的tensor和原来的tensor具有同样的大小和数据类型 情况一： 若原tensor的requires_grad = True，clone()返回的是中间节点，梯度会流向原tensor，即返回的tensor的梯度会叠加到原来的te 阅读全文
posted @ 2021-09-10 17:08 foghorn 阅读(599) 评论(0) 推荐(1) 编辑
2021年9月9日
摘要：
LabelEncoder和OneHotEncoder的区别 下面是一个使用 Python sci-kit 包中 LableEncoder 和 OneHotEncoder 的具体例子： 可以看出，LabelEncoder会将object类型的数据按顺序编码，如0，1，2，3。而OneHotEncode 阅读全文
posted @ 2021-09-09 22:54 foghorn 阅读(243) 评论(0) 推荐(0) 编辑