随笔分类 - 深度学习&机器学习&机器学习 / 机器学习 / 七.超参数优化
摘要：本文将使用 Tensorflow 中包含的 Fashion MNIST 数据集。该数据集在训练集中包含 60,000 张灰度图像，在测试集中包含 10,000 张图像。 每张图片代表属于 10 个类别之一的单品（“T 恤/上衣”、“裤子”、“套头衫”等）。 因此这是一个多类分类问题。 首先我们需要安
阅读全文
摘要：# 1 贝叶斯优化的基本原理 贝叶斯优化方法是当前超参数优化领域的SOTA手段，可以被认为是当前最为先进的优化框架，它可以被应用于AutoML的各大领域，不止限于超参数搜索HPO的领域，更是可以被用于神经网络架构搜索NAS以及元学习等先进的领域。现代几乎所有在效率和效果上取得优异成果的超参数优化方法
阅读全文
摘要：# 1 枚举网格搜索（Exhaustive Grid Search） ## 1.1 基本原理 在所有超参数优化的算法当中，枚举网格搜索是最为基础和经典的方法。在搜索开始之前，我们需要人工将每个超参数的备选值一一列出，多个不同超参数的不同取值之间排列组合，最终将组成一个参数空间（parameter s
阅读全文
