超参优化算法——BO-GP
超参优化算法
华为网络AI平台(NAIE)官方帐号
特性汇总
NAIE SDK包内置了多种参数优化算法, 适用于多种超参优化场景.
| 优化算法 | 收敛快 | 探索强 | 维度高 | 迭代多 | 极值多 | 离散值多 | 连续值多 |
|---|---|---|---|---|---|---|---|
| Random Search (随机搜索) | --- | --- | --- | --- | --- | --- | --- |
| Grid Search (网格搜索) | --- | --- | --- | --- | --- | --- | --- |
| BO-GP (高斯过程) | ✔ | ✘ | ✘ | ✘ | ✘ | ✔ | ✔ |
| BO-SMAC (SMAC) | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✘ |
| BO-TPE (TPE) | ✔ | ✔ | ✔ | ✔ | ✘ | ✘ | ✔ |
算法简介
内置的算法主要包括两大类: 简单搜索方法和基于模型的序贯优化方法.
简单搜索方法
简单搜索方法指的是一些通用的, 朴素的搜索策略. 当前内置的这类方法主要包括: 随机搜索和网格搜索.
| 优化算法 | 算法简介 | 使用场景 |
|---|---|---|
| Random Search (随机搜索) | 随机搜索指的是每次随机生成一个样本. | 随机搜索尽管思路简单, 但往往能在超参优化问题中取得令人意想不到的效果. 因此, 往往被当作基准使用. |
| Grid Search (网格搜索) | 网格搜索指的是遍历用户配置中的所有样本. | 网格搜索效率较低, 往往适用于在用户指定的配置空间进行精调. |
基于模型的序贯优化方法
基于模型的序贯优化方法(SMBO, Sequential Model-Based Optimization)是一种贝叶斯优化的范式.
该范式主要可以分为两个部分: 代理模型(surrogate model) 和 采集函数(acquisition function).代理模型用于对历史样本点的均值和方差进行拟合.采集函数利用获得的均值和方差提出新的样本点.
SMBO范式具体可参考论文.
当前内置的这类方法主要包括: BO-GP, BO-SMAC和BO-TPE.
| 优化算法 | 算法简介 | 使用场景 |
|---|---|---|
| BO-GP (高斯过程) | GP是SMBO范式下最经典的贝叶斯超参优化算法, 其采用的代理模型是高斯过程模型(GP, Gaussian Process). | BO-GP收敛性能好, 适合于资源受限的超参搜索场景(如:亟需寻找一个局部最优点), 但迭代次数较多时其性能会下降. |
| BO-SMAC (SMAC) | SMAC(Sequential Model-Based Optimization forGeneral Algorithm Configuration)隶属于SMBO范式, 其代理模型为随机森林(RF, Random Forest). | BO-SMAC具有优异的超参探索能力, 可以使用于各种超参优化场景, 尤其擅长处理大量离散型的超参. |
| BO-TPE (TPE) | TPE(Tree-structured Parzen Estimator)亦隶属于SMBO范式, 其代理模型为基于核密度估计模型(KDE, Kernel Density Estimation)混合模型. | BO-TPE可以使用于各种超参优化场景中, 其探索能力优异, 通常都能取得较好的效果. |
SDK使用
使用示例
import json
from sklearn.metrics import accuracy_score
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from naie.context import Context
## Step 1. 定义需要被优化的主函数
def main():
iris = datasets.load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target)
n_estimators = Context.get("n_estimators")
min_samples_split = Context.get("min_samples_split")
max_features = Context.get("max_features")
clf = RandomForestClassifier(
n_estimators=int(n_estimators),
min_samples_split=int(min_samples_split),
max_features=max(min(float(max_features), 0.999), 1e-3),
random_state=2
)
clf.fit(X_train, y_train)
accuracy = accuracy_score(y_test, clf.predict(X_test))
return accuracy
## Step 2. 定义超参空间
config = {
"trial_iter": 10,
"method": "bo-gp",
"goal": "max",
"domain_spaces": {
"my_model": {
"hyper_parameters": [
{
"name": "n_estimators",
"range": [
10,
500
],
"type": "INT",
"slice": 1
},
{
"name": "max_features",
"range": [
0.01,
1.0
],
"type": "FLOAT",
"slice": 1
},
{
"name": "min_samples_split",
"range": [
2,
25
],
"type": "int",
"slice": 2
}
]
}
},
"async_optimization": True
}
## Step 3. 运行超参优化
from naie.model_selection import HyperparameterOptimization
optimizer = HyperparameterOptimization(main, configuration=config)
optimizer