如何修复因失败而失败的SageMaker数据-质量监控-计划作业。作业输入没有数据'；
我正在尝试按照this AWS documentation page中提到的步骤在AWS SageMaker中安排数据质量监控作业。我已经为我的端点启用了数据捕获。然后，在我的培训CSV文件上训练了一个基线，统计数据和约束在S3中如下所示： from sagemaker import get_execution_role from sagemaker import image_uris fr
..
amazon-sagemaker相关内容
我们是否可以在CloudWatch中为Sagemaker笔记本实例生成自定义日志？
CloudWatch默认记录Sagemaker实例的日志，如内核启动、内核关闭、笔记本保存等。不过，我想列出一些自定义日志和这些默认日志。 请看所附图片。 Sample image of How default logs for a Sagemaker notebook instance look in CloudWatch 目标是能够使用这些工具查看一些自定义日志。例如-‘单元
..
在AWS SageMaker容器中设置环境变量(自带容器)
我们使用的是AWS sagemaker，它使用的是ECS容器，有没有办法，在使用低级的python SDK调用sagemaker API时，可以在容器中设置环境变量(如STAGE或PROD) 推荐答案 即使直接调用接口(比使用pythonSDK的级别低)，也不能直接在容器内设置环境任意变量。但是，您可以将任意超参数作为TrainingJob的配置传递，例如，传递一个类似{"mystag
..
如何将 stepfunction executionId 解析为 SageMaker 批量转换作业名称?
我创建了一个stepfunction，下面这个状态机的定义(step-function.json)在terraform中使用(使用这个页面中的语法:https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html) 如果我第一次执行这个状态机，它会创建一个名为 example-jobna
..
如何将 stepfunction 执行 ID 附加到 SageMaker 作业名称?
我有一个创建 SageMaker 批量转换作业的步进函数状态机，定义是用 Terraform 编写的，我想在批量转换作业名称中添加步进函数执行 ID: 在 stepfunction terraform 文件中: 定义 = 模板文件(“stepfuntion.json"，{xxxx) 在“stepfuntion.json"中: {...“TransformJobName":“jobna
..
如何在 SageMaker 上安排任务
我有一个关于 SageMaker 的笔记本，我想每天晚上运行.安排此任务的最佳方式是什么.有没有办法从 SageMaker 运行 bash 脚本并安排 Cron 作业? 解决方案 Amazon SageMaker 是一组可以帮助各种机器学习和数据科学任务的 API.这些 API 可以从各种来源调用，例如 CLI、SDK 或特别是从调度 AWS Lambda 函数(有关文档，请参见此处:ht
..
Amazon SageMaker 不支持的内容类型应用程序/x-image
我在 Sagemaker 中部署了一个基于 tensorflow/keras 的 CNN 模型. 现在调用推理，我按照这个教程 下面的代码片段 def inferImage(endpoint_name):# 加载图像字节img = open('./shoe.jpg', 'rb').read()运行时 = boto3.Session().client(service_name='sag
..
“未找到 SavedModel 包！"tensorflow_hub 模型部署到 AWS SageMaker
我尝试将通用句子编码器模型部署到 aws Sagemaker 端点并收到错误 raise ValueError('no SavedModel bundles found!') 我在下面展示了我的代码，我感觉我的一个路径不正确 将 tensorflow 导入为 tf导入 tensorflow_hub 作为集线器将 numpy 导入为 np从 sagemaker 导入 get_executi
..
Sagemaker 中 XGBoost 的功能重要性
我已经使用 Amazon Sagemaker 构建了一个 XGBoost 模型，但是我找不到任何可以帮助我解释模型并验证它是否学习到正确依赖项的东西. 通常，我们可以通过 python API 中的 get_fscore() 函数查看 XGBoost 的 Feature Importance (https://xgboost.readthedocs.io/en/latest/python/p
..
AWS Sagemaker 不更新包
AWS Sagemaker 的笔记本附带 Scikit-Learn 0.19.1 版 我想使用 0.20.2 版本.为了避免每次在笔记本代码中更新它，我尝试使用生命周期配置.我用以下代码创建了一个: #!/bin/bash设置 -e/home/ec2-user/anaconda3/bin/conda install scikit-learn -y 当我运行附加的笔记本实例并转到终端时，使
..
aws sagemaker 模型训练中是否存在某种持久性本地存储?
我用aws sagemaker做了一些实验，从S3下载大数据集的时间很成问题，尤其是在模型还在开发中，你想要一些比较快的初始反馈的时候 是否有某种本地存储或其他方式来加快速度? 编辑我指的是批量训练服务，它允许您将作业作为 docker 容器提交. 虽然此服务适用于通常运行很长时间(这使得下载时间不那么重要)的已经过验证的作业，但仍然需要快速反馈 没有其他方法可以对您的工作
..
AWS Sagemaker SKlearn 入口点允许多个脚本
我正在尝试按照教程 此处 实现用于特征预处理的自定义推理管道.它使用 python sklearn sdk 从脚本中引入自定义预处理管道.例如: from sagemaker.sklearn.estimator import SKLearnscript_path = '预处理.py'sklearn_preprocessor = SKLearn(入口点=脚本路径，角色=角色，train_insta
..
XGBoost 预测总是返回相同的值 - 为什么?
我将 SageMaker 的内置 XGBoost 算法与以下训练和验证集一起使用: https://files.fm/u/pm7n8zcm 在使用上述数据集运行训练得出的预测模型时，总是产生完全相同的结果. 在训练或验证数据集中是否有明显的东西可以解释这种行为? 这是我设置超参数的示例代码片段: {{"max_depth", "1000"},{"eta", "0.001"
..
如何将 AWS S3 中的存储桶图像读取到 Sagemaker Jupyter 实例中
我对 AWS 和云环境非常陌生.我是一名机器学习工程师，我计划在 AWS 环境中构建一个自定义 CNN，以预测给定的图像是否存在 iPhone. 我做了什么: 第 1 步: 我为 iPhone 分类器创建了一个 S3 存储桶，文件夹结构如下: Iphone_Classifier >火车 >Yes_iphone_images >1000张图片>No_iphone_images
..
AWS Sagemaker |如何训练文本数据|用于门票分类
我是 Sagemaker 的新手，不确定如何对 AWS sagemaker 中的文本输入进行分类， 假设我有一个 Dataframe，它有两个字段，如“Ticket"和“Category"，两者都是文本输入，现在我想将它拆分为测试和训练集并上传到 Sagemaker 训练模型中. X_train, X_test, y_train, y_test = model_selection.trai
..
将请求发送到 Sagemaker 中部署的 tensorflow 模型比 JSON 更有效的方法?
我已经在 Sagemaker 中训练了一个基于 tf.estimator 的 TensorFlow 模型并进行了部署，并且运行良好. 但我只能以 JSON 格式向它发送请求.我需要发送一些大的输入张量，这看起来效率很低，而且很快就打破了 InvokeEndpoints 5MB 的请求限制. 是否可以针对基于 tensorflow 服务的端点使用更有效的格式? 我尝试发送基于 pr
..
在 Sagemaker Jupyter NoteBook 实例上安装 RODBC 或 ODBC 时出错
我一直在尝试从 Sagemaker Jupyter Notebook 实例建立到 Teradata 的连接.我试图按照我通过 R Studio 的方式来做.但是当我尝试在实例中安装软件包时，我会收到非零退出状态错误. 我尝试过以下安装方式: remotes::install_github() 或 devtools::install_github() 还有: install.pack
..
如何使用 sagemaker java API 来调用端点?
我试图运行这个例子:tensorflow_abalone_age_predictor_using_layers，其中abalone_predictor.predict(tensor_proto)用于调用端点并进行预测.我试图使用 java API AmazonSageMakerRuntime 来达到同样的效果，但我不知道如何指定 body 和 contentTypeInvokeEndPointRe
..
使用 lambda 函数调用 sagemaker 端点
我在 S3 中有一些数据，我想创建一个 lambda 函数来预测我部署的 aws sagemaker 端点的输出，然后我再次将输出放入 S3.在这种情况下是否有必要创建一个 api 网关，如此 link ?在 lambda 函数中我必须放什么.我期望放(在哪里可以找到数据，如何调用端点，在哪里放数据) 谢谢 解决方案 您绝对不必在 API Gateway 中创建 API.您可以使用
..
AWS Sagemaker 自定义用户算法:如何利用额外实例
这是一个基本的 AWS Sagemaker 问题.当我使用 Sagemaker 的一种内置算法进行训练时，我能够通过增加训练算法的 instance_count 参数来利用将作业分配到多个实例的巨大加速.然而，当我打包我自己的自定义算法时，增加实例数量似乎只是在每个实例上重复训练，导致没有加速. 我怀疑当我打包我自己的算法时，我需要做一些特别的事情来控制它如何以不同的方式处理我的自定义 tr
..