如何选择模型中的超参数?有什么方法,并说说其优劣点

本文阅读 2 分钟
首页 知识库 正文

超参搜索算法一般包括的要素(1)目标函数(2)搜索范围,上限和下限缺点(3)其他参数,如搜索步长。

  1. 网格搜索

查找搜索范围内所有的点来确定最优值;实际应用中先用较大搜索范围和较大步长,寻找全局最优值可能位置;然后逐步缩小搜索范围和搜索步长,寻找更精确位置。

优点

简单
如果采用较大的搜索范围和较小步长,有很大概率找到全局最优值

缺点

耗时
目标函数非凸时,可能错过全局最优解
  1. 随机搜索

不再测试上界和下界之间的所有值,而是在搜索范围中随机选取样本点。如果样本点集足够大,通过随机搜索也能大概率找到全局最优解或其近似。

优点

   更快

缺点

   可能错过全局最优解
  1. 贝叶斯优化算法

对目标函数形状进行学习,找到使目标函数向全局最优值提升的参数。

优点

不同于前两种方法测试一个新点时会忽略前一个点的信息;贝叶斯优化算法充分利用之前的信息

缺点

容易陷入局部最优值
解压密码: detechn或detechn.com

免责声明

本站所有资源出自互联网收集整理,本站不参与制作,如果侵犯了您的合法权益,请联系本站我们会及时删除。

本站发布资源来源于互联网,可能存在水印或者引流等信息,请用户自行鉴别,做一个有主见和判断力的用户。

本站资源仅供研究、学习交流之用,若使用商业用途,请购买正版授权,否则产生的一切后果将由下载用户自行承担。

如何评判模型是过拟合还是欠拟合?遇到过拟合或欠拟合时,你是如何解决?
« 上一篇 07-11
概率模型和非概率模型的区别?哪些模型是概率模型,哪些模型是非概率模型?
下一篇 » 07-11

发表评论