摘要：
ReLU 激活函数： ReLu使得网络可以自行引入稀疏性，在没做预训练情况下，以ReLu为激活的网络性能优于其它激活函数。 数学表达式： $y = max(0,x)$ 第一，sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0，所以这会造成梯度消失，而relu函数在大 阅读全文
摘要：
凸集的定义为： 其几何意义表示为：如果集合C中任意2个元素连线上的点也在集合C中，则C为凸集。其示意图如下所示： 常见的凸集有： n维实数空间；一些范数约束形式的集合；仿射子空间；凸集的交集；n维半正定矩阵集；这些都可以通过凸集的定义去证明。 凸函数的定义为： 其几何意义表示为函数任意两点连线上的值 阅读全文
摘要：
static作用： 常规答案： 1. 全局变量的隐藏；2. 函数体内记忆功能；3.类所有实例共享，static函数不接受this指针，只能访问static成员变量。 拓展：1.全局变量的隐藏，因为在其他文件不可见。编译的时候解决符号表中不会导出这个变量，这样这个变量只能是内部链接，这样可以避免重复定 阅读全文