简谈做算法的两种方式

需要的认识：是做算法的研究（通常深度学习就是研究神经网络算法，如何让它特征提取更强大、分类更准确、速度更快，从网络结构、loss function、activation function等入手，需要强大的数学理论）？还是解决某个具体的问题（用已有的优秀的神经网络算法，侧重于研究解决问题的框架，当然很多时候需要对已有的算法做些微调）？

粗浅的认为前者更纯理论，后者往往以工程为依托。

“针对你的任务，如何设计网络？当面对你的实际任务时，如果你的目标是解决该任务而不是发明新算法，那么不要试图自己设计全新的网络结构，也不要试图从零复现现有的网络结构。找已经公开的实现和预训练模型进行微调。去掉最后一个全连接层和对应softmax，加上对应你任务的全连接层和softmax，再固定住前面的层，只训练你加的部分。如果你的训练数据比较多，那么可以多微调几层，甚至微调所有层。”