03 2020 档案
摘要:1.事件的独立性 2.期望、方差、协方差 (1)期望 期望的一些性质: (2)方差 (3)协方差 3. 矩 4.参数估计 (1)中心极限定理 (2)样本统计
阅读全文
摘要:1.机器学习简介 机器学习通俗的解释: 人类学习的类型: 注意:有监督学习和无监督学习的区别,输入数据后,有监督学习会给出参考的结果,无监督学习不会给出参考的结果。 2.高等数学 (1)导数 常用的导数的公式: 泰勒展开公式: 方向导数: 梯度: 3.概率论 (1)sigmoid函数 (2)概率公式
阅读全文
摘要:1.主要应用 2.各种应用 (1)卷积神经网络CNN,主要应用于图像方面 典型案例:
阅读全文
摘要:1.强化学习在游戏领域的应用 2.强化学习的要点 3.强化学习案例 马尔科夫的无后效性:系统在t>t0时刻所处的状态与系统在t0时刻以前的状态无关,这就是马尔科夫性或者无后效性。 马尔科夫模型具体公式描述如下 有随机过程{Xn,n为整数},对于任意n和I0,I1,In,满足条件概率:
阅读全文
摘要:1.RNN的简单回顾 RNN的典型应用: 2.LSTM的简单回顾 3.attention模型(注意力模型) 输入一张图片,经过CNN卷积层,得到输出的特征集L*D(196*512),D表示有多少个神经元,L是CNN的滑动窗口输出的14*14的值 下图中右边一侧是一个RNN,输出a2是一个权重向量14
阅读全文
摘要:1.RNN的典型应用 (1)机器翻译,序列到序列(自然语言处理,NLP) (2)看图说话,就是描述图片的内容。 2.RNN的应用背景 RNN与CNN最大的不同就是引入了记忆的概念,就是输出依赖输入和记忆。 3.RNN的结构 注意:St公式中的U和W表示权重矩阵,Ot公式中的V也是权重矩阵。 RNN结
阅读全文
摘要:分析步骤: 第一步:将one-hot形式分词结果作为输入([0,1,0....,0]的列向量的V*1维词向量),与投影矩阵C(D*V维度)相乘,得到D*1维的向量 第2步:将第一步的输出结果做拼接,作为隐藏层的输入。 第3步:经过一个全连接的神经网络,经过激励层,再softmax,得到该词出现的概率
阅读全文
摘要:1.自然语言处理(NLP) 以上任务的处理方法: 其中,P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1),这是条件概率公式的推广。 新的概念:用一个词的附近的其他词来表示该词。 上图中,I附近有like出现的语料次数为2次。 奇
阅读全文
摘要:正向传播可以理解为高考做练习题,知道自己和标准答案之间的差距,反向传播回传误差,可以知道自己那块知识点不好,也就是修改神经元的权重W。 SGD 随机梯度下降--mini-batch 反向传播--利用链式求导法则。 更新w5的值。
阅读全文
摘要:1.RNN的应用背景 序列的模型类型: 应用场景: (1) 一到多,从图片中提取内容,将其描述为文字。 (2)多到一,代表:文本分类,视频鉴别 (3)多到多,代表:视频的文本描述,将视频的内容描述为文本 softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解
阅读全文
摘要:1.CNN的应用方向 图像相关的任务: 2.各种框架比较 (1)caffe caffe的训练步骤: (2)torch (3)tensorflow 总结:
阅读全文
摘要:1.CNN训练的相关注意事项 CNN采用SDG梯度下降法 正则化 先把正则化调小,观察loss是否下降 可以把Dropout理解为给神经元加了一个开关 dropout能够防止过拟合。 2.框架相关
阅读全文
摘要:1.神经网络的结构 注意:下图中的g函数为sigmoid函数 总结:因此,当神经网络的层数足够时,可以描述任意区域形状。 上图中的符号说明: 参数说明如下图:depth为神经元个数,步长为窗口每次移动的距离,填充值是使得上图中的宽度能被整除,所加的值 计算方法:每个对应的位置的元素相乘,再加上偏移量
阅读全文
摘要:1.添加maven依赖 <dependency> <groupId>com.itextpdf</groupId> <artifactId>itextpdf</artifactId> <version>5.5.6</version> </dependency> 2.获得透明的png格式的电子印章图片的
阅读全文
摘要:1.批量下载文件 最近项目有个需求,用户批量下载pdf文件,下面记录我实现的解决方案。 前端代码(基于vue): //批量下载用户选中的一些质量证明书 downloadSomeQualityPaper() { let trs = document.getElementById("check-stat
阅读全文
摘要:1.梯度下降 梯度的提出只为回答一个问题:函数在变量空间的某一点处,沿着哪一个方向有最大的变化率? 局部下降最快的方向就是梯度的负方向。 典例:下山问题。 假设我们位于黄山的某个山腰处,山势连绵不绝,不知道怎么下山。于是决定走一步算一步,也就是每次沿着当前位置最陡峭最易下山的方向前进一小步,然后继续
阅读全文
摘要:1.高效计算基础 (1)python的基本语法 字符串类型如下图: (2)python的相关工具包 NumPy 通常与 SciPy(Scientific Python)和 Matplotlib(绘图库)一起使用, 这种组合广泛用于替代 MatLab,是一个强大的科学计算环境,有助于我们通过 Pyth
阅读全文
摘要:1.内容回顾 2.微分学 3.积分学 最重要的定理: 4.概率论 5.线性代数 6.优化问题和凸优化问题
阅读全文