在AzureML中训练时间序列模型时的内存限制 [英] Memory limitaiton when training time-series model in AzureML
问题描述
大家好，
我正在尝试使用Python SDK使用AzureML来训练本地计算机中的时间序列预测模型（大约200 GB RAM）。
关于我的数据集的摘要：
- 大小：80 MB
I am trying to user AzureML with Python SDK to train a time series forecasting model in my local machine (about 200 GB RAM).
Summary about my dataset:
- Size: 80 MB
- 总列数：40
- 数量行：165k行
- 培训规模： 122688行
- 测试尺寸： 42624行
- Total columns: 40
- Number of rows: 165k rows
- Training size: 122688 rows
- Testing size: 42624 rows
我的配置为时间序列模型：
My config for time series model:
time_series_settings = {
time_series_settings = {
" time_column_name"：" time"，
" max_horizon"：len（X_test），
" target_lags"：1，
" target_rolling_window_size"：12
"time_column_name": "time",
"max_horizon": len(X_test),
"target_lags": 1,
"target_rolling_window_size": 12
}
以下是运行模型时的一些日志：
...
在本地计算机上运行
父运行ID：AutoML _ ****
由于内存限制，滞后引导操作符被删除。 - >第1行
由于内存限制，滚动窗口操作符被删除。 - >第2行
当前状态：DatasetCrossValidationSplit。生成单独特征的CV分割。
当前状态：ModelSelection。开始模型选择。
Here are some logs when running the model:
...
Running on local machine
Parent Run ID: AutoML_****
The lag-lead operator was removed due to memory limitation. --> line 1
The rolling window operator was removed due to memory limitation. --> line 2
Current status: DatasetCrossValidationSplit. Generating individually featurized CV splits.
Current status: ModelSelection. Beginning model selection.
... ...
我不知道为什么我在日志中有两行如上所述。
< span style ="color：＃24292e; font-size：14px">我试过在AutoMLConfig中设置``mem_in_mb``。但我仍然遇到同样的错误。
任何人都可以帮忙体验这个问题？
I have tried to set ``mem_in_mb`` in AutoMLConfig. But I still got the same error.
Can anyone help experience about this problem?
推荐答案
Hello Hoang，
Hello Hoang,
我很想知道你是否面临与训练和测试大小行数较少的数据集相同的问题。你能否尝试使用这些数据的样本并检查是否有效吗？
I am curious to know if you are facing the same issue with a datset with lesser number of rows for training and testing size. Could you please try to use a sample of this data and check if that works?
-Rohit
这篇关于在AzureML中训练时间序列模型时的内存限制的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
