摘要:
五、衡量分类的性能指标 1、准确度的陷阱 准确度(正确率)越高就能说明模型的分类性能越好吗? 答:非也!举个例子,现在我开发了一套癌症检测系统,只要输入你的一些基本健康信息,就能预测出你现在是否患有癌症,并且分类的准确度为 0.999。但是我们知道,一般年轻人患癌症的概率非常低,假设患癌症的概率为 阅读全文
摘要:
四、衡量回归的性能指标 1、均方误差-MSE(Mean Squared Error) 其中y^i表示第 i 个样本的真实标签,p^i表示模型对第 i 个样本的预测标签。 线性回归的目的就是让损失函数最小。那么模型训练出来了,我们在测试集上用损失函数来评估模型就行了。 2、均方根误差-RMSE(Roo 阅读全文
摘要:
三、评估方法 1、留出法(hold-out) 直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另一个作为测试集T,即D = S ∪ T,S ∩ T = ø 。在 S 上训练出模型后,用 T 来评估其测试误差,作为对泛化误差的估计。 举例: 以二分类任务为例,假定 D 包含1000个样本 阅读全文