hyperparameters相关内容

Sklearn带管道的自定义转换器:级联轴的所有输入数组维度必须完全匹配

我正在学习sklearn自定义转换器,并阅读有关创建自定义转换器的两种核心方法: 通过设置从BaseEstimator和TransformerMixin继承的自定义类,或 通过创建转换方法并将其传递给FunctionTransformer。 我想通过实现元矢量器和功能来比较这两种方法:支持CountVectorizer或TfidfVectorizer的矢量器,并根据指定的矢量器类型转 ..

Pytorch 模型的超参数优化

对 Pytorch 模型执行超参数优化的最佳方法是什么?实施例如自己随机搜索?使用 Skicit 学习?或者还有什么我不知道的吗? 解决方案 许多研究人员使用 RayTune.这是一个可扩展的超参数调整框架,专门用于深度学习.您可以轻松地将它与任何深度学习框架(下面的 2 行代码)结合使用,它提供了最先进的算法,包括 HyperBand、基于人口的训练、贝叶斯优化和 BOHB. impo ..

如何将 Keras 模型插入 scikit-learn 管道?

我将 Scikit-Learn 自定义管道 (sklearn.pipeline.Pipeline) 与 RandomizedSearchCV 结合用于超参数优化.这很好用. 现在我想在管道中插入一个 Keras 模型作为第一步.应该优化模型的参数.计算的(拟合的)Keras 模型稍后应该在其他步骤的管道中使用,所以我认为我必须将模型存储为全局变量,以便其他管道步骤可以使用它.对吗? 我 ..

如何在 keras 中使用带有拟合生成器的网格搜索

我想用 fit_generator 作为 keras 中的输入对模型的参数进行网格搜索 我在堆栈溢出中找到以下代码并更改它 1-但我不明白如何使用 fit_generator 或 flow_from_directory 来拟合函数(代码中的最后一行) 2- 如何添加提前停止? 谢谢 from __future__ import print_function进口keras从 ..
发布时间:2021-12-19 12:52:54 Python

Tensorflow 的超参数调整

我正在寻找直接用 Tensorflow(不是 Keras 或 Tflearn)编写的代码的超参数调整包.你能提点建议吗? 解决方案 通常你不需要将你的超参数优化逻辑与优化模型结合起来(除非你的超参数优化逻辑是特定于你所使用的模型类型的)培训,在这种情况下,您需要告诉我们更多信息).有多种工具和包可用于该任务.这里是一篇关于这个主题的好论文,和此处是一篇带有示例的更实用的博客文章. h ..

具有多个输入的 Keras 网格搜索

我正在尝试对我的超参数进行网格搜索,以调整深度学习架构.我有多个模型输入选项,我正在尝试使用 sklearn 的网格搜索 api.问题是,网格搜索api只接受单个数组作为输入,代码在检查数据大小维度时失败.(我的输入维度是5*数据点数,而根据sklearn api,它应该是数据点数*特征维度).我的代码看起来像这样: from keras.layers import Concatenate, R ..
发布时间:2021-12-09 22:41:26 Python

如何在插入符号包中的指定网格中随机搜索?

我想知道是否可以在预定义的网格中使用随机搜索.例如,我的网格有 alpha 和 lambda 用于 glmnet 方法.alpha 介于 0 和 1 之间,lambda 介于 -10 到 10 之间.我想使用随机搜索 5 次来随机尝试此边界中的点.我为网格搜索编写了以下代码并且它工作正常,但我无法修改它以进行随机搜索. rand_ctrl 解决方案 一种方法是定义一个网格并使用 sampl ..
发布时间:2021-07-03 18:36:47 其他开发

如何在RandomForestClassifier中选择n_estimators?

我正在使用python预处理数据集上构建一个Random Forest Binary Classsifier,该数据集具有4898个实例,60-40的分层分割比率以及78%的数据属于一个目标标签,而其余的则属于另一个目标标签.我应该选择n_estimators的哪个值以实现最实用/最可能的随机森林分类器模型?我使用下面的代码段绘制了精度vs n_estimators曲线.x_trai和y_trai ..
发布时间:2021-04-22 19:08:06 Python

网格搜索具有多个输入的Keras

我正在尝试对我的超参数进行网格搜索,以调整深度学习架构。我对该模型有多个输入选项,并且正在尝试使用sklearn的网格搜索API。问题是,网格搜索api仅将单个数组作为输入,并且在检查数据大小维度时代码失败。(我的输入维度是5 *数据点数,而根据sklearn api,它应该是数据点数*功能尺寸)。我的代码如下所示: from keras.layers import串联,重塑,输入,嵌入, ..
发布时间:2020-10-19 21:41:03 Python

Tensorflow模型的超参数调整

我之前曾使用Scikit-learn的GridSearchCV优化模型的超参数,但只是想知道是否存在类似的工具来优化Tensorflow的超参数(例如,时期数,学习率,滑动窗口大小等) ) 如果没有,如何实现有效运行所有不同组合的代码段? 解决方案 使用Tensorflow进行网格搜索的另一个可行(已记录)选项是 Ray Tune 。它是用于超参数调整的可扩展框架,专门用于深度学习/ ..
发布时间:2020-10-09 03:00:47 Python

卷积神经网络中超参数的保存优化

我在将卷积神经网络中保存超参数的训练过程方面面临一个问题。我已经阅读了几篇博客文章,但是以某种方式我无法做到这一点。 我有以下代码: def ConvNet(embeddding, max_sequence_length,num_words,embedding_dim,trainable = False,extra_conv = True, lr = 0.0001,辍学= 0.7, ..

Hyperopt调整参数被卡住

我正在测试使用hyperopt库调整SVM的参数. 通常,当我执行此代码时,进度条停止并且代码被卡住. 我不明白为什么. 这是我的代码: from hyperopt import fmin, tpe, hp, STATUS_OK, Trials X_train = normalize(X_train) def hyperopt_train_test(params): if ..
发布时间:2020-07-23 05:53:54 其他开发

Ray Tune:调度程序和搜索算法如何交互?

在我看来,将超频带与贝叶斯优化搜索集成在一起的自然方法是让搜索算法确定每个托架,并让超频带调度程序运行托架.也就是说,贝叶斯优化搜索每个括号仅运行一次.查看 Tune 的尤其是,我想知道Tune库如何处理搜索算法和试用计划程序之间的传递.例如,如果我按以下方式一起调用SkOptSearch和AsyncHyperBandScheduler(或HyperBandScheduler),这将如何工作: ..
发布时间:2020-07-05 05:43:50 其他开发

ap_uniform_sampler()缺少1个必需的位置参数:Python的Ray Tune程序包中的"high"

我正在尝试使用Ray Tune 程序包对超参数进行调整使用纯Tensorflow实现的LSTM.我使用了超频调度程序和 TypeError:ap_uniform_sampler()缺少1个必需的位置 论点:“高" 下面显示的是堆栈跟踪: FutureWarning:不建议将issubdtype的第二个参数从float转换为np.floating.将来,它将被视为np.float64 ..
发布时间:2020-07-05 05:42:29 其他开发