2020年12月19日
tf.compat.v1.placeholder
摘要： 这个方法用于声明一个需要被填充的张量； 1 tf.compat.v1.placeholder( 2 dtype, shape=None, name=None 3 ) 重点:这个张量如果直接调用的话会产生错误，必须使用feed_dict可选参数将其值提供给Session.run()、Tensor.ev 阅读全文
posted @ 2020-12-19 15:41 hi_mxd 阅读(1654) 评论(0) 推荐(0) 编辑
numpy.reshape
摘要： numpy.reshape 函数的原型 numpy.reshape(a, newshape, order='C') 参数解析 a:输入一个将要被reshape的数组 newshape：两种情况：1）整数；2）元组 如果是整数的话，那么这个结果将会变成1-D，也就是一维的形式； 注意 维度可以是-1， 阅读全文
posted @ 2020-12-19 11:39 hi_mxd 阅读(277) 评论(0) 推荐(0) 编辑
2020年12月14日
对于backpropagation的理解
摘要： 来自: https://cs231n.github.io/optimization-2/ 动机。在本节中，我们将通过对反向传播的直观理解来发展专业知识，反向传播是一种通过递归应用链式法则来计算表达式梯度的方法。理解这个过程及其微妙之处对于理解并有效地开发、设计和调试神经网络至关重要。 问题陈述。本节 阅读全文
posted @ 2020-12-14 22:30 hi_mxd 阅读(102) 评论(0) 推荐(1) 编辑
循环神经网络教程，第3部分-通过时间和消失梯度的反向传播
摘要： 在本教程的前一部分中，我们从无开始实现了一个RNN，但是没有详细说明反向传播(BPTT)算法是如何计算梯度的。在这一部分中，我们将简要概述BPTT，并解释它与传统的反向传播有何不同。然后我们将尝试理解消失梯度问题，这导致了LSTMs和GRUs的开发，这是目前在NLP(和其他领域)中使用的两个最流行和 阅读全文
posted @ 2020-12-14 22:22 hi_mxd 阅读(312) 评论(0) 推荐(0) 编辑
循环神经网络2——利用Python、Numpy和Theano实现RNN
摘要： 语言建模 我们的目标是利用RNN建立一个语言模型。也就是，如果我们有个句子有m个单词，一个语言模型允许我们预测观察到句子的概率为： 也就是说，这个句子是由每个单词前面给定词汇的概率决定的。因此，句子的概率，“他想去买一些巧克力”，将会是，给定‘他想去买一些’后，‘巧克力’的概率，乘以给定‘他想去买’ 阅读全文
posted @ 2020-12-14 22:05 hi_mxd 阅读(383) 评论(0) 推荐(0) 编辑
循环卷积网络教程1 ——RNN基础介绍
摘要： 卷积神经网络（RNN）是一种流行的网络结构，可以处理很多NLP的任务。尽管它们最近非常流行，但是对于其如何工作原理的解释是非常少有的。这个是这个教程将要做的事情。接下来要讲一下多系列： 1. 介绍RNN（本部分） 2. 利用Python和Theano实现一个RNN 3.通过BPTT算法理解后向传播和 阅读全文
posted @ 2020-12-14 19:58 hi_mxd 阅读(1261) 评论(0) 推荐(0) 编辑
2019年8月1日
半监督学习
摘要： 一）未标记样本 （二）生成式方法 （三）半监督SVM （四）图半监督学习 （五）基于分歧的方法 （六）半监督聚类 未标记样本 让学习器不依赖外界交互，自动地利用未标记样本来提升学习性能，就是半监督学习(semi-supervised learning)。 要利用未标记样本，必然要做一些未标记样本所揭 阅读全文
posted @ 2019-08-01 20:44 hi_mxd 阅读(376) 评论(0) 推荐(0) 编辑
2019年7月25日
计算学习理论
摘要： 计算学习理论 s PAC辨识 s PAC可学习 s PAC学习算法 s 样本复杂度 s 可分情形 s 不可分情形 阅读全文
posted @ 2019-07-25 19:33 hi_mxd 阅读(272) 评论(0) 推荐(0) 编辑
2019年7月18日
选择与稀疏学习
摘要： 子集搜索与评价过滤式选择过滤式方法先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。这相当于先用特征选择过程对初始特征进行“过滤”，再用过滤后的特征来训练模型。Relief，是一种著名的过滤式特征选择方法。该方法设计了一个“相关统计量”来度量特征的重要性。显然，Relief的关 阅读全文
posted @ 2019-07-18 21:21 hi_mxd 阅读(137) 评论(0) 推荐(0) 编辑
2019年7月11日
降维与度量学习
摘要： 降维与度量学习 K近邻学习 K近邻学习（k-Nearest Neighbor）学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个"邻居"的信息来进行预测。通常，在分类任务中可使用"投票法"，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用"平均法"，即将这k个样本的实值输出标记的平均值作为预测... 阅读全文
posted @ 2019-07-11 19:26 hi_mxd 阅读(582) 评论(0) 推荐(0) 编辑