正交化
正交化
构建机器学习系统的挑战之一就是其中有很多你可以尝试、更改的东西，例如，其中有很多的超参数需要进行训练。把握好尝试、更改的方向，认识到进行的调整将带来的影响，是十分关键的。
正交化（Orthogonalization）件时，不会产生或传播副作用到系统种的其他组件的一种系统设计属性。它使得验证一个算法独立于另一个算法时变得更加容易，同时也能减少设计和开发的时间。
例如在学习驾驶一辆汽车时，主要是在学习转向、加速、制动这三个基本的控制方法，这三种控制手段互不干扰，你只要通过不断得训练，熟练掌握它们就好。而假如要你去学会驾驶一辆只带一根操纵杆的汽车，操纵杆设计好了每操作一下就控制一定的转角、一定的速度，这时学习成本就大了很多。所谓的正交化，就是这个道理。
当设计一个监督学习系统，需做到符合下面四个假设且它们是正交的：
- 建立的模型在训练集上表现良好；
- 建立的模型在开发集（验证集）上表现良好；
- 建立的模型在测试集上表现良好；
- 建立的模型在实际的应用中表现良好。
当做到正交化时，如果发现：
- 训练集上表现不够好–尝试采用更大的神经网络或者换一种更好的优化算法；
- 验证集上表现不够好–尝试进行正则化处理或者加入更多训练数据；
- 测试集上表现不够好–尝试采用更大的验证集进行验证；
- 现实应用中表现不够好–可能是因为测试集没有设置正确或者成本函数评估出错。
面对遇到的各种问题，正交化能够帮助我们更为精准地定位及有效地解决问题。
