随笔分类 - MachineLearning
摘要：###简介 Transformer 由 Google 在 2017 提出，是基于注意力机制的模型 https://arxiv.org/pdf/1706.03762.pdf Transformer 抛弃了 RNN 和 CNN RNN：顺序执行，无法并行处理，每个时刻的输出，都依赖上一个时刻的输出，对长
阅读全文
摘要：###概述 机器学习算法多数是用于解决回归问题，分类问题，聚类问题，而 GAN 则是用于生成内容，比如生成图片 GAN（Generative Adversarial Nets，生成对抗网络）是 2014 年提出的理论 https://arxiv.org/pdf/1406.2661.pdf GAN 由
阅读全文
摘要：###定位和检测 把图片里的物体找到并框起来 比如把图片中的车子找到并框起来 比如人脸识别，对于全身照，要先把脸部找出来，然后再做识别 甚至要求找出图片的多种物体，比如自动驾驶，需要同时检测到红绿灯、行人、车辆、路面状况等 通常要输出：是否找到、类别 (one-hot)、画框 (中心点的 X 和 Y
阅读全文
摘要：如果用 CNN 按分类做验证的话，会有以下问题 需要每个人都给多个样本照片，比如每个人要提供 100 张自己的人脸照片供模型学习，这本来就不容易，加上人的数量也多，就更是个问题 哪怕有足够的样本数据，另一个问题是人员组成很容易变化，比如公司员工经常变化（大组织甚至每天都有人员进出），分类的数量和类别
阅读全文
摘要：###ONNX 现在市面上的多种框架 - TensorFlow：1.0 和 2.0 差别比较大，社区比较分裂（自己设计模型），不容易用 - Pytorch：研究型，基于 Python，自动求导数，支持动态图，由于高封装导致 function 不灵活 - Caffe2：现在用的少 研究多用 Pytor
阅读全文
摘要：如果模型太大，参数太多，占用空间，计算时间长，那么在手机、嵌入式设备（无人机、机器人、手环、等等）等应用场景，就会受到限制，所以希望能对网络模型做压缩 通常从几百 M 压缩到几十、十几 M ###网络剪枝（Network Pruning） 训练出来的网络，参数其实偏多，会有冗余，可以剪枝叶，使模型变
阅读全文
摘要：###下载 到官方网站找到需要的安装包 https://www.anaconda.com/products/distribution 在 Ubuntu 用的是 curl -O https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_
阅读全文
摘要：安装 Keras 有两个 Backend，也就是 Keras 基于什么东西来做运算 Keras 的两个 Backend，一个是 Theano，一个是 TensorFlow 每次当我们 import keras 的时候, 就会看到屏幕显示当前使用的 Backend 配置文件 直接修改配置文件可能会在
阅读全文
摘要：```python coding:utf 8 import tensorflow as tf ''' 出现以下 Warning Your CPU supports instructions that this TensorFlow binary was not compiled to use: SS
阅读全文
摘要：安装 sklearn.datasets 这个包提供一些函数用于读取样本数据（数据存在 .csv 或 .csv.gz 文件），比如 酒数据集（用于分类） 13 个特征包括各种成分的含量、酒的颜色等 3 个分类简单的标记为 class_0、class_1、class_2 参数 return_X_y 表示
阅读全文
摘要：传统的机器学习算法非常依赖人工提取特征，使得图像识别、语音识别、自然语音处理等问题存在特征提取的瓶颈 基于全连接神经网络的方法存在参数太多、无法利用时间序列信息等问题 卷积神经网络（CNN）解决图像的特征提取问题、参数太多问题 循环神经网络（RNN）解决利用时间序列信息的问题 RNN 主要用于语音识
阅读全文
摘要：###和全连接神经网络的主要差别 全连接神经网络： 每个神经元的输入数据，都使用了上一层的所有神经元的输出数据，每个神经元的输出数据，都被作为下一层的所有神经元的输入数据，这容易导致参数数量膨胀、过拟合、容易陷入局部最优，尤其用于图像识别时，如果把每个像素当成一个特征，则会有大量的特征值，比如一副
阅读全文
摘要：###神经元模型 神经元具有如下三个功能 1. 能够接收 n 个神经元模型传递过来的信号 2. 能够在信号的传递过程中为信号分配权重 3. 能够将得到的信号进行汇总、变换并输出 ![](https://img2020.cnblogs.com/blog/1926863/202003/1926863-2
阅读全文
摘要：EM 算法（Expectation Maximization 期望最大化）是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计 比如班里有 100 个学生，我们拥有所有人的身高数据，但不知道哪些是男生，哪些是女生，未知的性别就是隐变量 1. 先自己假设男生的正态分布的参数、女生的正态分布的参数
阅读全文
摘要：极大似然估计（Maximum Likelihood Estimate，MLE） 由于样本数据，是实实在在发生的数据，有理由相信该样本出现的概率本来就比较大，极大似然估计假设该样本出现的概率是最大的，然后通过该样本寻找一组参数，该参数使得该样本出现的概率最大 比如：班里有 50 个男生，50 个女生，
阅读全文
摘要：基于协同过滤（collaborative filtering）的推荐引擎，是通过将用户和其他用户的数据进行对比来实现推荐 不是利用属性来描述物品从而计算它们之间的相似度，而是利用用户对它们的意见来计算相似度，这就是协同过滤中所使用的方法，它并不关心物品的描述属性，而是严格地按照许多用户的观点来计算相
阅读全文
摘要：SVD（Singular Value Decomposition，奇异值分解）是一种强大的降维工具 很多情况下，数据的一小段携带了大部分信息，其他要么是噪声，要么就是毫不相关的信息，SVD 是矩阵分解的一种，可以把 SVD 看成是从噪声数据中抽取相关特征 优点：简化数据，去除噪声，提高算法的结果 缺
阅读全文
摘要：降维 （dimensionality reduction）就是减少数据特征的维度 作用 使得数据集更易使用 降低很多算法的计算开销 去除噪声 使得结果易懂 PCA（主成分分析 Principal Component Analysis） PCA 将数据从原来的坐标系转换到了新的坐标系 第一个新坐标轴选
阅读全文
摘要：FP growth（Frequent Pattern Growth）算法用于发现频繁项集 作用：比 Apriori 更高效的发现频繁项集 特点：快于 Apriori、实现比较困难 Apriori 每次增加频繁项集的大小，都会重新扫描整个数据集 当数据集很大时，这会显著降低频繁项集发现的速度 FP g
阅读全文
摘要：优点：易编码实现 缺点：在大数据集上可能较慢 从大规模数据集中寻找物品间的隐含关系被称作 关联分析 （association analysis）或者 关联规则学习 （association rule learning） 比如购买商品 A 的顾客有多大概率同时购买商品 B，比如用户在搜索框输入 "py
阅读全文
