摘要：
正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方向，使最终的解倾向于符合先验知识。 阅读全文
摘要：
梯度下降法作为在机器学习中较长使用的优化算法，有三种不同的形式：批量梯度下降、随机梯度下降、小批量梯度下降。 阅读全文
摘要：
为了防止模型的过拟合，我们在建立线性模型的时候，经常需要加入正则化项，一般有L1正则化和L2正则化。 阅读全文
摘要：
线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。 阅读全文
摘要：
K近邻法(k-nearest neighbors,KNN)是一种很基本的机器学习方法，在平常的生活中也会不自主的应用。比如，判断一个人的人品，只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。 阅读全文
摘要：
1、此部分内容为本人的个人学习总结，内容来自老师的讲义、网络达人的分享、 周志华老师的《西瓜书》、李航老师的《统计学习方法》等。 2、其中网络资料以刘建平老师博客为主。 阅读全文
摘要：
# 快速排序的思路是依据一个“中值”数据项来把数据表分为两半 ：小于中值的一半和大于中值的一半， # 然后每部分分别进行快速排序（递归） # 如果希望这两半拥有相等数量的数据项，则应该找到数据表的中位数 # 但找中位数需要计算开销！要想没有开销，只能随意找一个数来充当中值比如，第1个数。 # 设置左 阅读全文
摘要：
# 归并排序是递归算法，思路是将数据表持续分裂为两半，对两半分别进行归并排序 # 递归的基本结束条件是：数据表仅有1个数据项，自然是排好序的 # 缩小规模：将数据表分裂为相等的两半，规模减为原来的二分之一； # 用自身：将两半分别调用自身排序，然后将分别排好序的两半进行归并，得到排好序的数据表 # 阅读全文
摘要：
# 我们注意到插入排序的比对次数，在最好的情况下是O(n)，这种情况发生在列表已是有序的情况下， # 实际上，列表越接近有序，插入排序的比对次数就越少 # 从这个情况入手，谢尔排序以插入排序作为基础，对无序表进行间隔划分子列表，每个子列表都执行插入排序 # 子列表的间隔一般从n/2开始，每趟倍增：n 阅读全文
摘要：
# 插入排序时间复杂度仍然是O(n**2)，但算法思路与冒泡排序、选择排序不同 # 插入排序维持一个已排好序的子列表，其位置始终在列表的前部，然后逐步扩大这个子列表直到全表 # 插入排序的比对主要用来寻找新项的插入位置 def insertionSort(alist): for index in r 阅读全文