如何选择模型中的超参数?有什么方法,并说说其优劣点
  • 日期2022-07-11
  • 评论 0
  • 阅读 297
  • 分类 知识库
  • 字数 494

如何选择模型中的超参数?有什么方法,并说说其优劣点

超参搜索算法一般包括的要素(1)目标函数(2)搜索范围,上限和下限缺点(3)其他参数,如搜索步长。

  1. 网格搜索

查找搜索范围内所有的点来确定最优值;实际应用中先用较大搜索范围和较大步长,寻找全局最优值可能位置;然后逐步缩小搜索范围和搜索步长,寻找更精确位置。

优点

简单
如果采用较大的搜索范围和较小步长,有很大概率找到全局最优值

缺点

耗时
目标函数非凸时,可能错过全局最优解
  1. 随机搜索

不再测试上界和下界之间的所有值,而是在搜索范围中随机选取样本点。如果样本点集足够大,通过随机搜索也能大概率找到全局最优解或其近似。

优点

   更快

缺点

   可能错过全局最优解
  1. 贝叶斯优化算法

对目标函数形状进行学习,找到使目标函数向全局最优值提升的参数。

优点

不同于前两种方法测试一个新点时会忽略前一个点的信息;贝叶斯优化算法充分利用之前的信息

缺点

容易陷入局部最优值

评论 (0)