机器学习_step1_基础知识
| 符号 | 含义 |
|---|---|
| \(x\) | 训练用样本值 |
| \(x_1\) | 训练用多样本矩阵 |
| \(y\) | 训练用样本标签值 |
| \(Y\) | 训练用多样本标签矩阵 |
| \(z\) | 线性运算的结果值 |
| \(Z\) | 线性运算的结果矩阵 |
| \(δ\) | 激活函数 |
| \(α\) | 激活函数结果值 |
| \(A\) | 激活函数结果矩阵 |
| \(A1\) | 第一层网络的激活函数结果矩阵 |
| \(w\) | 权重参数值 |
| \(W\) | 权重参数矩阵 |
| \(W1\) | 第一层网络权重参数矩阵 |
| \(b\) | 偏移参数值 |
| \(b_1\) | 偏移参数矩阵中的第一个偏移值 |
| \(b2_1\) | 第二层网络的偏移参数矩阵中的第1个偏移值 |
| \(B\) | 偏移参数矩阵 (向量) |
| \(B1\) | 第一层网络的偏移参数矩阵 (向量) |
| \(X^T\) | X的转置矩阵 |
| \(X^\) | X的逆矩阵 |
| \(loss,loss(w,b)\) | 单样本误差函数 |
| \(J,J(w,b)\) | 多样本损失函数 |
0 摘要
step_1 包含:
- 人工智能发展简史、定义、以及科学范式
- 神经网络基本的训练和工作原理
- 反向传播和梯度下降
- 损失函数
1 概论
1.0 人工智能发展简史
什么是智能 <图灵测试>
人工智能（Artificial Intelligence，AI）
我们总是高估一项科技所带来的短期效益，却又低估它的长期影响 ___ Roy Amara
问题：
- 如果一个人工智能专业的大学生毕业了，刚好遇到人工智能的“冬天”，他/她应该怎么办？
如果一个XX专业的大学生毕业了，刚好遇到XX行业的“冬天”，他/她应该怎么办？ - 中文房间问题？
例如：小明是一个不懂外语的人，他可以通过翻译软件与外国人交流；但这并不能证明 “小明会外语” ，仅能提供一个 “小明会外语” 的假象
1.1 人工智能的定义
第一层定义，人们对人工智能的期待
- 智能的把某件特定的事情做好， 在某个领域增强人类的智慧 ___ 智能增强 (例如：搜索引擎、自助翻译) ___ "弱人工智能"、"狭义人工智能"
- 像人类一样认知，思考，判断：模拟人类的智能 ___ 通用人工智能（Artificial General Intelligence， AGI）
第二层定义，以技术特点划分
机器学习
该技术的共性：
如果一个程序解决任务（T）的效能（用P表示）随着经验（E）增加得到了提高，那么，这个程序就能从经验（E）中学到了关于任务（T）的知识，并让衡量值（P）得到提高
- 选择一个模型结构（例如逻辑回归，决策树等），这就是上面说的程序
- 用训练数据（输入输出）输出模型，这就是上面的经验
- 通过不断执行任务（T）并衡量结果（P），让P不断提高，直到一个满意的标准
按 机器学习 获取经验的方式，大致分为三类：
-
监督学习（Supervised Learning）
通过标注的数据来学习，例如，程序通过学习标注了正确答案的手写数字的图像数据，它就能认识其他的手写数字。
-
无监督学习（Unsupervised Learning）
通过没有标注的数据来学习。这种算法可以发现数据中自然形成的共同特性（聚类），可以用来发现不同数据之间的联系，例如，买了商品A的顾客往往也购买了商品B。
-
强化学习（Reinforcement Learning）
我们可以让程序选择和它的环境互动（例如玩一个游戏），环境给程序的反馈是一些“奖励”（例如游戏中获得高分），程序要学习到一个模型，能在这种环境中得到高的分数，不仅是当前局面要得到高分，而且最终的结果也要是高分才行。
M-P神经元模型
随着神经网络层次数目的增加，以非线性函数来控制相邻层次之间的输入输出，由此产生 ___ DNN（深度神经网络）
根据神经网络结构的调整，DNN逐渐演变出：CNN（卷积神经网络）、RNN（循环神经网络）、LSTM（长期短期记忆）、GAN（生成对抗网络）、Transfer Learning（迁移学习）等
训练AI模型，需要一系列专门的工具，业界成熟的训练平台(or框架)（TensorFlow、PyTorch、MXNet等）
第三层定义，应用角度
狭义人工智能取得的成果
- 翻译领域
- 阅读理解（SQuAD比赛）
- 围棋、德州扑克等娱乐竞技
1.2 范式的演化
1.2.1 范式演化的四个阶段
第一阶段：经验
人类早期的科学研究，通过记录和描述自然现象的特征，来进行经验总结 ___ 经验归纳
第二阶段：理论
假设“斜面足够光滑，无摩擦力”，“空气阻力可以忽略不计” ___ 理论演算（Theoretical）
理论演算阶段要定性，定量
第三阶段：计算仿真
模拟核试验、天气预报
第四阶段：数据探索
“数据探索”（Data Exploration）
1.2.2 范式各阶段的应用
概率公式
P(A|B) = P(AB)/P(B)
P(A|B)___在B条件下 A 的概率.即事件A 在另外一个事件B已经发生条件下的发生概率。
P(AB)___事件A、B同时发生的概率,即联合概率.联合概率表示两个事件共同发生的概率.A 与 B 的联合概率表示为 P(AB) 或者 P(A,B)。
假设有三个门，只有 1 个门后有奖励，另外 2 个门后为空；你选择一个门后，有一次改变选择的机会
- 第一次选到中奖门的概率是多少
- 改变选择后选到中奖门的概率是多少
- 未改变选择后选到中奖门的概率是多少
今天才想起来随笔没发(弄完GitHub就把这边忘了)，后续机器学习笔记就不贴了，上面链接内有完整学习规划及资料，大家共勉
