摘要:
写这系列博客的目的是方便自己期末复习计算机组成原理,会一点一点更新。 2.1 进位计数制与数制转换 各种进制转换,太简单,略 2.2 带符号数的表示 n = 字长-1 机器数:即数据在机器中实际存储的模式。 原码:最高位为符号位,尾数为二进制数值,以绝对值的形式给出,正负零占了两个码点 补码:正数的 阅读全文
摘要:
今天还是继续在做拟合,因为感觉即使精度不高还是可以发论文。 但是仔细阅读了其中一篇论文后发现,以四万多份样本为基础的实验精度已经达到了0.25左右的loss。 而我这个基于小样本的loss却只有0.5左右的loss,高了将近一倍。 所以这条路是走不通了。 说说之后的计划。 1.先用这个202个样本进 阅读全文
摘要:
今日完成 完成了对于虚拟样本的实验。 即以不同虚拟样本占比为横坐标,比较loss和准确度是否有提升。 结果:毫无规律可言。 在网上继续寻找论文。 所幸其上两篇文章里的准确率都不高,甚至可以说是非常的低,给了我非常大的信息和鼓舞。 明日目标 继续做实验,复验神经网络的泛化能力是否足够,今天似乎已经发现 阅读全文
摘要:
今日完成 这是今天最新的拟合结果 训练集上的准确率有97%,然而验证集上只有77%。 因为我并没有加正则化,只是看看这个网络是否能够过拟合。 而今天和老师讨论过后,决定在虚拟样本,即先验知识这方面做一个研究。 在这里我们能看到的是,这篇论文中只是阐述了用hint和不用hint的差别,但是并没有细化说 阅读全文
摘要:
今日完成 针对数据不足的情况,参考了Abu-Mostafa的一篇论文--Financial application of learning from hints 文中提到了使用先验知识比如专家知识,创造虚拟样本,以先验知识的形式训练网络。 可以看到准确率的确上升了不少,但是其实还并不是很准确,los 阅读全文
摘要:
今日完成 依然还是不停的调参数调参数。发现了有一点不对劲的地方。 如果我把这个地方缩小的一万的范围内的话,这个神经网络就没有办法学习到金额越大惩罚越大的特征,而转为学习一些其他的特征(大概 如果选到五万的话是一个比较合适的界限。 测试了一下是可以学习到这个特征的。 但是准确率并不是很高的 总体来说就 阅读全文
摘要:
今日完成 今天早上的时候去和老师讨论了一下。接下来还是要尽量的提高精度。 所以选取了在盗窃金额在一万以内的案件,有95例,90例用作训练数据,5例用作验证数据。 从图中可以看到训练集的准确率非常非常的高,然而测试集有点不行,主要是因为有一个负的样本出来了,但这应该都不是什么大问题,继续增加验证集的样 阅读全文
摘要:
今日完成 今天稍微改了改数据范围,因为昨天那个分布,实在是差的太离谱了。所以今天就只拿了犯罪金额在一万以内的,也就是数据集中的部分来训练。 可以看出来分布相似。拿10X10的简单网络测试训练。 可以看出误差还行。控制台显示,训练集上的MSE是0.08,验证集上的MSE是0.14,主要是有一个离群点特 阅读全文
摘要:
今日完成 今天听了老师的建议之后,回来看了一下测试集和验证集的分布,果不其然,非常的不匹配。 可以看到的是,测试集数据大多集中在0-50000,而验证集大金额分布更多,所以我们有理由相信,训练集缺少对大金额数据训练。 所以就用train.test.split把数据加在一起之后又分分组。 所以就变成这 阅读全文
摘要:
恢复内容开始 完了,大事不妙,今天才发现我做归一化的时候顺带着把下面一行数据也做了归一化了,我就奇了个怪为什么loss这么小,伤透心了,又得重来。 今日完成 今天把损失函数换了一下,又换回来了,从MAE又换回来MSE 然后呢加了L2正则化的东西到每一层去 最重要的是修改了准确度计算的公式 一开始我用 阅读全文