随笔分类 - 9_好文转载（常看好文、书籍）
摘要：Laravel 服务容器之理解控制反转和依赖注入 一、总结 一句话总结： 【控制反转（IoC）】：【由外部负责其依赖需求的行为】，【比如对超人加芯片提供不同的超能力】，我们可以称其为 “控制反转（IoC）”。 【依赖注入】：【只要不是由内部生产】（比如初始化、构造函数 __construct 中通过
阅读全文
摘要：Logistic回归和梯度上升 公式推导 一、总结 一句话总结： 还是得多看视频，这样比较快，如果找不到好视频，还是自己推导比较快 1、逻辑回归 梯度上升算法迭代更新θ的取值？ $$\theta _ { j } = \theta _ { j } + \alpha \frac { \partial \
阅读全文
摘要：隐马尔可夫模型（HMM）总结 一、总结 一句话总结： 【社会规律】：【规律就是【不可抗拒】，谁也别想【免俗】】，比如社会的本质规则，比如人的一些本质规律，比如社交本质规律，【不可以违背，但是可以超脱，不可违反，但是可以急速，读书做人做事请注意方法】 1、什么是熵(Entropy)？ 【系统的无序程度
阅读全文
摘要：数据挖掘十大经典算法（各自优缺点 / 适用数据场景） 一、总结 一句话总结： 【C4.5】（一种分类决策树算法）、【K-Means算法】（聚类算法） 【Support vector machines】（应用于统计分类以及回归分析）、【The Apriori algorithm】（挖掘布尔关联规则频繁
阅读全文
摘要：PCA数学原理 一、总结 一句话总结： PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过【线性变换】将【原始数据变换为一组各维度线性无关的表示】，可用于提取数据的主要特征分量，常用于高维数据的降维。 那么如何选择这个方向（或者说基）才能尽量保留最
阅读全文
摘要：最大似然估计（MLE）的最大后验概率估计（MAP）区别详解 一、总结 一句话总结： 最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种【参数估计方法】
阅读全文
摘要：先验概率、最大似然估计、贝叶斯估计、最大后验概率 一、总结 一句话总结： 1、先验概率和后验概率？ P(A|B)=P(B|A)*P(A)/P(B) P(A)是A的先验概率或边缘概率，称作"先验"是因为它不考虑B因素。 P(A|B)是已知B发生后A的条件概率，也称作A的后验概率。 P(B|A)是已知A
阅读全文
摘要：无偏估计量通俗易懂理解 一、总结 一句话总结： 概率论中的无偏估计中的偏就是机器学习中我们常常遇见的偏差bias，方差也是对应的 二、无偏估计量通俗易懂理解（转） 转自：https://www.matongxue.com/madocs/808 现实中常常有这样的问题，比如，想知道全体女性的身高均值，
阅读全文
摘要：泊松分布通俗理解 一、总结 一句话总结： 泊松分布可以通过无限细分的二项分布推出来，求极限的话就是得到的结果就是泊松分布 P(X=k)=μkk!e−μ
二、泊松分布（转） 转自：https://www.ma
阅读全文
摘要：全概率公式和贝叶斯公式 一、总结 一句话总结： 全概率就是表示达到某个目的，有多种方式（或者造成某种结果，有多种原因），问达到目的的概率是多少（造成这种结果的概率是多少） 贝叶斯公式就是当已知结果，问导致这个结果的第i原因的可能性是多少？执果索因！ 1、条件概率 意义及意义例子？ 举个例子，比如让你
阅读全文
摘要：变分自编码器 一、总结 一句话总结： 【将概率图跟深度学习结合起来的一个非常棒的案例】：总的来说，VAE的思路还是很漂亮的。倒不是说它提供了一个多么好的生成模型（因为事实上它生成的图像并不算好，偏模糊），而是它提供了一个将概率图跟深度学习结合起来的一个非常棒的案例，这个案例有诸多值得思考回味的地方。
阅读全文
摘要：深度学习四大经典书籍 一、总结 一句话总结： 《Deep Learning with Python》：是 Keras 作者写的书，所以全书基本围绕着 Keras 讲深度学习的各种实现，从 CNN，RNN 到 GAN 等，偏入门 《Python Machine Learning》：书籍质量很高，简单来
阅读全文
摘要：为什么Regularization可以解决过拟合 一、总结 一句话总结： Regularization是把参数w加到loss里面去，而y=wx+b，参数越小，y越平滑 也就是y对x越不敏感，自然可以解决x本身噪声带来的影响（也就是去除特别数据带来的影响），也就自然越接近真实模型 1、正则化loss算
阅读全文
摘要：什么是meta-learning 一、总结 一句话总结： 虽然我要做的这个数据集数据很少，但是我有很多其它数据很多的数据集呀。如果模型可以先在其它数据比较多的数据集上学到这些有关“该如何学习新的知识”的先验知识，由此让模型先学会“如何快速学习一个新的知识”，岂不美哉 1、传统的机器学习是在干嘛？ 有
阅读全文
摘要：CNN网络架构演进：从LeNet到DenseNet 一、总结 一句话总结： 这篇文章有LeNet、AlexNet、VGG、GoogleNet、ResNet、DenseNet对应的keras的代码 1、LeNet？ (①)、LeNet是卷积神经网络的祖师爷LeCun在1998年提出，用于解决手写数字识
阅读全文
摘要：Batch Normalization 一、总结 一句话总结： (I)、BN的作用就是将这些输入值进行标准化，降低scale的差异至同一个范围内。 (II)、这样做的好处在于一方面提高梯度的收敛程度，加快训练速度； (III)、另一方面使得每一层可以尽量面对同一特征分布的输入值，减少了变化带来的不确
阅读全文
摘要：权重初始化的选择 一、总结 一句话总结： ①)、随机分布权重：均匀分布：从结果可知，若我们的输入是10000个特征点，那么a= ∑10000wixi + b，且|a|>1的概率很大（结果为16.111116）。可想而知，不采用激活函数或relu函数，则有梯度爆炸的可能性；若采用sigmoid激活函数
阅读全文
摘要：深度学习中，交叉熵损失函数为什么优于均方差损失函数 一、总结 一句话总结： A)、原因在于交叉熵函数配合输出层的激活函数如sigmoid或softmax函数能更快地加速深度学习的训练速度 B)、因为反向传播过程中交叉熵损失函数得到的结果更加简洁，无论sigmoid或softmax，可以定量分析。 1
阅读全文
摘要：深入理解Batch Normalization批标准化 一、总结 一句话总结： BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布 1、为什么bn操作可以解决过拟合（实例分析）？ A、假设没有经过BN调整前x的原先正态分布均值是-6，方差是
阅读全文
摘要：卷积神经网络-LeNet 一、总结 一句话总结： (1)、LeNet-5的结构是卷积层、降采样层、卷积层、降采样层、全连接层。 (2)、对应的结构就是卷积层、池化层、卷积层、池化层、全连接层。 1、LeNet-5的前四层详细结构分析？ 第一层（卷积convolutions）：从32*32到6@28*
阅读全文
