踏浪前行

摘要： 鉴于自己对minibatch一直以来的误解，说明一下minbatch的具体做法。 batch是一次运行所有数据集，只更新一次梯度下降，m过大，计算依然很慢。 minibatch是一次运行一个minibatch，更新一次梯度，整个数据集，会更新多次，通常来说，运行更快。 原因可能是w的维数小，参数数量 阅读全文

摘要： 偏差和方差衡量的必要性，因为深度学习中，根据没免费午餐定理，降低了偏差一定增加了方差，降低了方差也增加了偏差。 高偏差：欠拟合，线性不能充分拟合，非线性才能充分拟合 高方差：过拟合，对部分点描述过度，泛化误差增大 偏差和方差一定程度对应着训练误差和验证误差。 基本误差为0的情况下， 1、训练误差降低 阅读全文

摘要： 对于nlogn的时间复杂度要求，使用归并，与数组不同的是： 1）链表找中点，通过快慢指针，找到左右的头节点即可，切断链表操作. 2）建立新的伪节点，不断比较left和right的值，进行组合。 3）这里空间复杂度还是有栈的调用，不是常数级别，后续代码太复杂，以后有时间再看 # Definition 阅读全文

摘要： 首先选择结构是哈希双链表，字典结构{key:node},双链表结构如图所示，（这里添加了伪头和伪尾节点，方便删除添加节点） 注：默认双链表头节点是最新使用，尾部是最久未使用 get方法：1、查询key是否在dict中，不在返回-1，在，返回node.val，同时将node移到头部 put方法：1、查 阅读全文

摘要： 一、提出背景 因为之前的LSTM、GRU等RNN的结构，虽然一定程度上解决了长程依赖的问题，但是还是没有根本解决超过一定范围的长程依赖问题。并且，RNN的顺序计算使得模型训练速度慢的问题。 提出Tranformer：1、并行计算，大大减少训练时间，摒弃了RNN、CNN的使用。 2、仅仅依赖多头自注意 阅读全文

摘要： 1. Flask项目在pycharm上可以打开正常运行，但是在cmd 不能，提示路由不能return 一个字典给页面，要转成字符串，同时在html页面更改 2. js $is not find 把jquery的js 调整在最前面 阅读全文

摘要： 一、属性部分 分区： 表示可以选择不同的社区可视化 分区统计： 表示 每个社区数量在指定数量范围内的才可以显示 等于：表示选择对应社区号进行选择显示 范围：表示社区号的范围内进行选择 边之间： 表示只显示指定社区内部的连边 边内部： 表示只显示不同指定社区之间的连边 二、拓扑部分 K-核心： 表示 阅读全文

摘要： 1. softmax回归模型（分类模型） 2. 交叉熵损失函数 最小化交叉熵损失函数等价于最大化训练数据集所有标签类别的联合预测概率 3. 模型预测评价（准确率--正确预测数量/总预测数量） 4. 小结 1. softmax回归是单层神经网络的分类问题，输出为总类别数 2. 交叉熵适合衡量两个概率分 阅读全文

摘要： # -*- coding: utf-8 -*- import torch import numpy as np import matplotlib.pyplot as plt import random from torch import nn from torch.nn import init i 阅读全文

摘要： # -*- coding: utf-8 -*- import torch import numpy as np import matplotlib.pyplot as plt import random '''生成一个1000个数据集 y = W*X+b+k k表示高斯白噪声 服从正态分布 ''' 阅读全文