支持向量机-数据是否有可指示最佳参数的属性(例如，C、伽马) [英] SVM - Are there properties of the data that can indicate best parameters (e.g. C, gamma)

问题描述

使用交叉验证来确定最佳参数似乎相当标准。当然，这通常是一个耗时的过程。有什么捷径吗？有没有其他更快的探索性分析形式，可以提供关于哪些值将是最佳的提示？

例如，以我目前对机器学习和支持向量机的理解，我可能会做一些事情，比如在C的指数为10的[10e-5，10e5]范围内执行初始网格搜索，然后从那里进行微调。但有没有一种方法可以让我快速估计出最佳的C在10e3和10e5之间，然后执行更具体的搜索？

这个问题可能适用于大多数ML技术，但我现在恰好正在使用支持向量机。

推荐答案

是的，这是一个正在积极研究的领域！除了我们都知道的标准网格搜索之外，在不同的方法中已经做了大量的工作来调整超参数(也许？)喜爱。

与您所描述的领域最相似的是解决问题的各种贝叶斯/高斯过程方法。这个GitHub回购有一个实现和一些关于它如何工作的信息性图片https://github.com/fmfn/BayesianOptimization。这种方法的工作原理是将参数优化问题视为另一个机器学习问题，其中我们为每个超参数提供特征，并尝试预测各种参数组合的性能。

这是对该过程的高级描述，您可以阅读Repo中的链接论文/笔记本了解更多详细信息。

这篇关于支持向量机-数据是否有可指示最佳参数的属性(例如，C、伽马)的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！