分类、回归问题Loss
- 分类与回归问题可选用全连接神经网络建模。隐藏层一般用ReLU激活函数。
- 训练网络时由简单->复杂，避免严重的过拟合。多分类中间节点数不能少于类别数
- 输出层根据问题类型选择激活函数与loss
| Task | Activate_function | Loss_function |
|---|---|---|
| 二分类 | sigmoid | binary_crossentropy |
| 多分类，单标签 | softmax | categorical_crossentropy |
| 多分类，多标签 | sigmoid | binary_crossentropy |
| 回归到任意值 | - | MSE* / MAE* |
| 回归到0~1之间 | sigmoid | MSE*或binary_crossentropy |
*MAE: Mean Absolute Error
\[MAE = \sum_{i=1}^N (y_i-y_i^p)^2
\]
*MSE: Mean Square Error
\[MSE = \sum_{i=1}^N |y_i-y_i^p|
\]
