01 2022 档案

摘要:一.判别分析和分类分析 例子 贷款人申请贷款,要评估是否能够成功偿还贷款 二.区别 判别分析-寻找判别规则,利用判别函数来描述-主要是区分不同的群体-找规律 分类分析-给出分类结果-预测新对象的类别,找到最优可能属于的类别-贴标签 目标通常都是分类 两群体Fisher线性判别分析 目标寻找最合适的平 阅读全文
posted @ 2022-01-26 08:53 筷点雪糕侠 阅读(247) 评论(0) 推荐(0) 编辑
摘要:一.背景 一般机器学习完成后会生成正确率等指标,ROC也是常用的指标 X,,nX 1.,p=(p1,p2,....,pn) 2.,q=(q1,q2,....,qn) 阅读全文
posted @ 2022-01-24 08:49 筷点雪糕侠 阅读(115) 评论(0) 推荐(0) 编辑
摘要:#1.最大熵模型 终极目标 P(Y|X)H(P)=xP(x)logP(x) 将终极目标代入熵 H(P)=xP(y|x)logP(y|x) 做些改变,调整为条件熵 \(H(P)=H(y|x)=-\sum_{x}\tilde P(x) 阅读全文
posted @ 2022-01-19 08:44 筷点雪糕侠 阅读(51) 评论(0) 推荐(0) 编辑
摘要:1.逻辑斯蒂回归定义 P(Y=1|x)=ewx1+ewx P(Y=0|x)=11+ewx 2.参数估计 \(逻辑斯蒂回归模型学习时,对于给定的训练数据及T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} 阅读全文
posted @ 2022-01-19 08:09 筷点雪糕侠 阅读(87) 评论(0) 推荐(0) 编辑
摘要:符号 定义 D ,m×(d+1)X m d , \(X=\begin{pmatrix}x_{11} & x_{12} & ... & x_{1d} & 1 \\x_{21} & x_{22} & . 阅读全文
posted @ 2022-01-18 08:16 筷点雪糕侠 阅读(198) 评论(0) 推荐(0) 编辑
摘要:#1.概念 拟合能力强的模型一般复杂度会比较高,容易过拟合。 如果限制模型复杂度,降低拟合能力,可能会欠拟合。 #2.如何选择模型? 模型越复杂,迅雷错误越低 #####不能根据训练错误最低来选择模型 #####在选择模型时,测试集不可见 #3.模型选择 引入验证集 将训练集分为两部分 训练集 验证 阅读全文
posted @ 2022-01-17 08:10 筷点雪糕侠 阅读(173) 评论(0) 推荐(0) 编辑
摘要:1.学习准则 一个好的模型应该在所有取值上都与真实映射函数一致 #2.损失函数 Loss Function 损失函数是一个非负实数函数,用来量化模型预测和真实标签之间的差异 以回归问题为例 平方损失函数 Quadratic Loss Function \(\mathcal{L}(y,f(x;\the 阅读全文
posted @ 2022-01-16 22:35 筷点雪糕侠 阅读(190) 评论(0) 推荐(0) 编辑
摘要:点击查看代码 from sklearn import datasets # 自带数据集 from sklearn.model_selection import train_test_split # 数据集划分 from sklearn.preprocessing import StandardSca 阅读全文
posted @ 2022-01-13 22:11 筷点雪糕侠 阅读(172) 评论(0) 推荐(0) 编辑
摘要:1.留出法 2.python代码演示 点击查看代码 from sklearn import datasets # 自带数据集 from sklearn.model_selection import train_test_split # 数据集划分 from sklearn.preprocessing 阅读全文
posted @ 2022-01-12 23:21 筷点雪糕侠 阅读(238) 评论(0) 推荐(0) 编辑
摘要:1.多分类问题 y=argmaxc=1C fc(x;wc) fc(x;wc)=wcTx+bc, c{1,...,C} 学习准则 pθ(y=c|x) 模型问题 \(已知 f_c(x;w_c) 阅读全文
posted @ 2022-01-11 08:35 筷点雪糕侠 阅读(45) 评论(0) 推荐(0) 编辑
摘要:1.种类 感知器 Logistic回归 Softmax回归 交叉熵和对数似然 支持向量机 Softmax回归是多分类,其他都是二分类 #2.线性回归模型 f(x;w,b)=wTx+b,yR #3.线性分类模型 $g(f(x;w))=\begin{cases} 1 & if\ f 阅读全文
posted @ 2022-01-09 22:19 筷点雪糕侠 阅读(58) 评论(0) 推荐(0) 编辑
摘要:1.自动微分概念 自动微分是利用链式法则来自动计算的一个复合函数的梯度 2.计算图 3.案例 f(x,w,b)=1ewx+b+1 计算步骤 \(\frac{\partial f(x;w,b)}{\partial w}=\frac{\partial f(x;w,b)} 阅读全文
posted @ 2022-01-08 09:54 筷点雪糕侠 阅读(326) 评论(0) 推荐(0) 编辑
摘要:https://www.bilibili.com/video/BV17D4y1o7J2 wiki https://en.wikipedia.org/wiki/Metropolis%E2%80%93Hastings_algorithm 知乎-介绍了为什么pdf(loc=x_start)的好处 http 阅读全文
posted @ 2022-01-05 23:03 筷点雪糕侠 阅读(467) 评论(0) 推荐(0) 编辑
摘要:在神经网络学习中,个人认为有两块十分重要的理论知识对理解神经网络的工作由重要的意义,一个是许志钦老师讲解的F-principle,阐述了为什么神经网络不会过拟合,另外一个就是通用近似定理,解释了为什么神经网络不需要知道问题的目标函数就可以拟合 B站视频讲解 www.bilibili.com/vide 阅读全文
posted @ 2022-01-05 21:34 筷点雪糕侠 阅读(1362) 评论(0) 推荐(0) 编辑
摘要:1.神经网络 神经网络最早是作为一种主要的连接主义模型。 20世纪80年代后期,最流行的一种连接主义模型是分布式并行处理(Parallel Distributed Processing,PDP)网络,其有3个主要特性: 1)信息表示是分布式的(非局部的); 2)记忆和知识是存储在单元之间的连接上; 阅读全文
posted @ 2022-01-04 08:31 筷点雪糕侠 阅读(798) 评论(0) 推荐(0) 编辑
摘要:教材 https://www.bilibili.com/video/BV13b4y1177W 符号 含义 d 维数 b 偏置项 1.神经元模型 z=i=1dwixi+b=wTx+b 2.激活函数 ##性质 ###连续并可导(允许少数点上不可 阅读全文
posted @ 2022-01-04 08:16 筷点雪糕侠 阅读(379) 评论(0) 推荐(0) 编辑
摘要:材料 https://www.bilibili.com/video/BV17D4y1o7J2 1.随机抽样问题 Xf(x),X2? \(可以通过公式E(g(X))=\int_{-\infty}{+\infty}f(x)g(x)dx,令g(X)=X^2即 阅读全文
posted @ 2022-01-03 21:16 筷点雪糕侠 阅读(103) 评论(0) 推荐(0) 编辑
摘要:条件概率(Conditional Probability) (X,Y)X=xY=y p(y|x)=P(Y=y|X=x)=p(x,y)p(x) #贝叶斯公式 \(两个条件概率p(y|x)和p(x|y)之间 阅读全文
posted @ 2022-01-02 18:20 筷点雪糕侠 阅读(306) 评论(0) 推荐(0) 编辑
摘要:正态分布 也叫高斯分布(Gaussian Distribution) ,XN(μ,σ2),μ,σ2 \(p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2 阅读全文
posted @ 2022-01-02 18:18 筷点雪糕侠 阅读(205) 评论(0) 推荐(0) 编辑
摘要:PDF 𝑌Probability Density FunctionPDFp(x) +p(x)dx=1 阅读全文
posted @ 2022-01-02 18:15 筷点雪糕侠 阅读(161) 评论(0) 推荐(0) 编辑
摘要:伯努利分布(Bernoulli Distribution) 在一次试验中,事件A出现的概率为μ,不出现的概率为1 − μ。若用变量X 表示事件A出现的次数,则X 的取值为01,其相应的分布为 p(x)=μx(1μ)1x 二项分布(Bi 阅读全文
posted @ 2022-01-02 18:10 筷点雪糕侠 阅读(262) 评论(0) 推荐(0) 编辑
摘要:人工神经网络主要由大量的神经元以及它们之间的有向连接构成。因此考虑三方面: 神经元的激活规则 主要是指神经元输入到输出之间的映射关系,一般为非线性函数。 ##网络的拓扑结构 不同神经元之间的连接关系。 前馈网络 记忆网络 图网络 ##学习算法 通过训练数据来学习神经网络的参数。 阅读全文
posted @ 2022-01-02 17:40 筷点雪糕侠 阅读(213) 评论(0) 推荐(0) 编辑
摘要:赫布法则 Hebb's Rule “当神经元 A的一个轴突和神经元B很近,足以对它产生影响,并且持续地、重复地参与了对神经元B的兴奋,那么在这两个神经元或其中之一会发生某种生长过程或新陈代谢变化,以致于神经元A作为能使神经元B兴奋的细胞之一,它的效能加强了。” 加拿大心理学家Donald Hebb, 阅读全文
posted @ 2022-01-02 17:38 筷点雪糕侠 阅读(665) 评论(0) 推荐(0) 编辑
摘要:#1.案例1 案例 f(x)=a0+kaksinkx+kbkcoskx =k=+ckeikx k,ak,bk? ck \(若k不断减小 阅读全文
posted @ 2022-01-01 19:43 筷点雪糕侠 阅读(332) 评论(0) 推荐(0) 编辑
摘要:课程来源 https://www.bilibili.com/video/BV167411N7fE?p=3 #1.问题 如果采样是离散的,那么频率是有限宽的,没法采到特别高频率的样本 或者有很高频的样本,你的采样精度不够细的时候,采样数据的信号有多大的可信程度? 2.From CFT to DTFT 阅读全文
posted @ 2022-01-01 18:09 筷点雪糕侠 阅读(348) 评论(0) 推荐(0) 编辑
摘要:材料准备 https://www.bilibili.com/video/BV1jt411U7Bp https://www.bilibili.com/video/BV167411N7fE?p=2 1.回顾傅里叶级数的复数形式 2l \(f(x)=\su 阅读全文
posted @ 2022-01-01 15:22 筷点雪糕侠 阅读(723) 评论(0) 推荐(0) 编辑
摘要:准备材料 高等数学同济版 第十二章,无穷级数,第七,第八节 https://www.bilibili.com/video/BV1i341117L8?from=search&seid=6725153828974183622&spm_id_from=333.337.0.0 #1.基础概念 \(任意周期函 阅读全文
posted @ 2022-01-01 12:53 筷点雪糕侠 阅读(722) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示