摘要：
1 import torch 2 import matplotlib.pyplot as plt 3 import os 4 os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE' 5 6 lr = 0.001 7 see = 20000 8 x = torch.ra 阅读全文
posted @ 2021-08-16 21:16 foghorn 阅读(56) 评论(0) 推荐(0) 编辑
2021年8月16日
摘要：
#0 概述 在神经网络模型中，如果网络的层数很多，则可能会出现梯度爆炸或者梯度消失问题。顾名思义，梯度爆炸意思是梯度太大了，可能会超出计算机可表示的数值范围；梯度消失意思是梯度太小了。 #1 梯度爆炸 ##1.1 梯度爆炸的成因 以多层感知机为例，第t层的输出为： \(f_{t}(h^{t-1})= 阅读全文
posted @ 2021-08-16 21:09 foghorn 阅读(317) 评论(0) 推荐(0) 编辑
摘要：
题目描述 （1）ip地址转换为十进制整数 例如，ip地址10.0.3.193，可以分成四段，每段分别是00001010 00000000 00000011 01100001，将这四段拼接成一个32位的整数变成167773121 （2）整数转为ip地址 将167773121还原成10.0.3.193 阅读全文
posted @ 2021-08-16 12:18 foghorn 阅读(471) 评论(0) 推荐(0) 编辑
2021年8月15日
摘要：
#1 卷积核 卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义（或自定义），这个函数称为卷积核。如下图中间部分所示。 #2 特征图 经过卷积核运算之后的图成为特征图 #3 感受野 感受野的定义是，对于某层输出特征图上的某个点 阅读全文
posted @ 2021-08-15 17:23 foghorn 阅读(89) 评论(0) 推荐(0) 编辑
2021年8月9日
摘要：
#0 概述 因子分解机（Factorization Machine，FM）于2010年被首次提出，其目的是解决数据稀疏问题以及特征组合爆炸问题，是曾经火爆学术界的推荐模型，虽然近几年基于深度学习的推荐算法是众多学者的研究热点，但因FM实现简单，效果强大，其思想仍值得我们深入研究。此外FM与深度学习技 阅读全文
posted @ 2021-08-09 21:07 foghorn 阅读(1022) 评论(0) 推荐(0) 编辑
2021年8月1日
摘要：
#0 dropout 当训练一个深度神经网络时，我们可以随机丢弃一部分神经元及其对应的连边来避免过拟合，这种方法称为丢弃法（Dropout Method）。其示意图如下： 实际上我们并不改变网络结构，而是以一定的概率将网络的隐藏层输出值变成0。在对某个隐藏层进行dropout时，开辟一个新的矩阵ma 阅读全文
posted @ 2021-08-01 20:31 foghorn 阅读(173) 评论(0) 推荐(0) 编辑
2021年7月30日
摘要：
#0 布隆过滤器 布隆过滤器由Burton Howard Bloom于1970年提出。一个布隆过滤器代表一个集合，可以判断一个元素是否在集合中，但这种判断不是精准的判断，即存在误判率，具体误判率是多少取决布隆过滤器结构的设计。 #1 哈希函数 哈希函数的输入域可以是非常大的范围，比如，任意一个字符串 阅读全文
posted @ 2021-07-30 10:12 foghorn 阅读(229) 评论(0) 推荐(0) 编辑
2021年7月20日
摘要：
#0 概述 为了衡量一个机器学习模型的好坏，需要给定一个测试集，用模型对测试集中的每个样本进行预测，并根据预测结果计算评价分数。对于分类问题，常见的评价指标有准确率、精确率、召回率和F值等。给定测试集$\tau =\left { \left ( \pmb{x}{(1)},y{(1)} \right 阅读全文
posted @ 2021-07-20 12:45 foghorn 阅读(160) 评论(0) 推荐(0) 编辑
2021年7月19日
摘要：
#0 取模运算的性质 \((a+b)\,mod\, p=(a\,mod\,p+b\,mod\,p)\,mod\,p\) \((a-b)\,mod\, p=(a\,mod\,p-b\,mod\,p)\,mod\,p\) \((a*b)\,mod\, p=(a\,mod\,p*b\,mod\,p)\,m 阅读全文
posted @ 2021-07-19 10:54 foghorn 阅读(219) 评论(0) 推荐(0) 编辑
2021年7月3日
摘要：
#0 矩阵求导的本质 矩阵$A$对矩阵$B$求导：矩阵$A$中的每个元素分别对矩阵$B$中的每个元素求导。 | 因变量 | 自变量 | 导数个数 | | : | : | : : | | \(A_{1\times 1}\) | \(B_{1\times 1}\) | 1个导数 | | \(A_{m\t 阅读全文
posted @ 2021-07-03 15:37 foghorn 阅读(232) 评论(0) 推荐(0) 编辑