Orthogonalization：正交化——调整监督学习系统

正交化（Orthogonalization），通过一系列调整来达到预期效果。为了让监督式的学习系统表现好，需要通过正交化达到以下四个目标：

 

第一，保证在训练集上表现的足够好；             训练更大规模的神经网络，或选用更好的优化算法（如Adam优化算法）

 

第二，保证在开发集上表现的足够好；             正则化，或收集更多的训练数据

 

第三，保证在测试集上表现的足够好；             收集更多的开发数据

 

第四，在实际的应用中表现的足够好；             改变开发集（分布不对）或是改变成本函数（指标有误）