1, 从一个例子理解维数:
0维,就是一个像素点,一个标量,比如0.3
1维,一个特征向量
2维,一个矩阵,比如一张灰度图片的像素点分布
3维,一张三通道的彩色图片
4维,一个三通道图片批量,许多张图片
5维,一个视频批量,比三维多了时间序列
2, 范数
L-0范数:用来统计向量中非零元素的个数。
L-1范数:向量中所有元素的绝对值之和。可用于优化中去除没有取值的信息,又称稀疏规则算子。
L-2范数:典型应用——欧式距离。可用于优化正则化项,避免过拟合。
L-∞范数:计算向量中的最大值。
3, 如何理解axis取不同值时
4, 自动求导的正向反向求导
正向求导的复杂度: