摘要: 本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 问题描述 当我们在训练一个网络时,如果观察到我们训练的loss如上图所示,越来越小,最后卡住不在下降了。我们会认为走到critical point了,因为cr 阅读全文
posted @ 2021-04-08 10:02 sykline 阅读(420) 评论(0) 推荐(0) 编辑
摘要: 本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! Batch(批次) 首先回顾一下,在深度学习中,往往将训练数据集随机划分为N个batch,每完成一个batch的计算,便更新一次参数$\theta$,一轮(e 阅读全文
posted @ 2021-04-08 10:00 sykline 阅读(373) 评论(0) 推荐(0) 编辑
摘要: 本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! Critical Point 当我们观察训练集上的Loss出现如下两种形式时: 蓝色线:当Loss下降到一定程度后,便不再减小。但此时的Loss并不能满足我们 阅读全文
posted @ 2021-04-08 09:56 sykline 阅读(356) 评论(0) 推荐(0) 编辑
摘要: 本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 如何更好的训练我们的模型呢?我们可以通过观察训练集上的loss,来决定下一步采取什么措施来优化我们的训练过程。 训练集上的Loss很大 在这种情况下,可能的原 阅读全文
posted @ 2021-04-08 09:55 sykline 阅读(718) 评论(1) 推荐(0) 编辑
摘要: 谨以此文,记录自己在学习python过程中遇到的问题和知识点。如有错漏,还请各位朋友指正,感谢! 问题简述 在python中,raise可以实现报出错误的功能,而报出错误的条件是程序员可以自己规定的。在面向对象编程中,如果想在父类中预留一个方法,使该方法在子类中实现。如果子类中没有对该方法进行重写就 阅读全文
posted @ 2021-04-08 09:52 sykline 阅读(2330) 评论(0) 推荐(0) 编辑
摘要: 本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 一、Machine Learning概念理解 Machine Learning主要的任务是寻找一个合适的Function来完成我们的工作(非常不严谨的简单理解 阅读全文
posted @ 2021-04-08 09:48 sykline 阅读(583) 评论(0) 推荐(0) 编辑
摘要: 本文作为自己学习softmax和softmax loss笔记而写,留作自己日后回顾,如文中有错误还请不吝指教,感谢! 图片来自:https://eli.thegreenplace.net/2016/the-softmax-function-and-its-derivative/ 全连接层解释 上图展 阅读全文
posted @ 2021-04-08 09:47 sykline 阅读(427) 评论(0) 推荐(0) 编辑