amazon-s3相关内容

在 EC2 中加载 php 类的最佳方法 - InstanceStore、EBS 或 S3?

在以下场景中,在 EC2 中加载 PHP 类的最佳方法是什么(# 用于说明目的)?-> 100 个运行 apache 和 APC 的 EC2 实例-> 每个请求加载 100 个 php 类(通过 __autoload)-> 类之间每天 100 次代码更改(许多类包含自动生成的代码,这些代码通过 cron 定期更新). 据我所知,有 3 种方法可以在 EC2 中加载 php 类文件: A.I ..
发布时间:2021-11-30 21:30:06 PHP

由于授权无法访问 S3 预签名 URL

使用 Java8 和 aws-java-sdk 1.10.43 我正在尝试获取 S3 文件的预签名 URL.我确实得到了一个链接,但浏览它会导致此错误: 不支持您提供的授权机制.请用AWS4-HMAC-SHA256 强调一下,我希望生成一个可以通过电子邮件发送并在浏览器中打开的 URL,而不是使用 Java 代码从该 URL 中读取. 我正在使用波纹管代码,并且我相信我需要以某种 ..
发布时间:2021-11-30 18:00:20 Java开发

如何在 IAM 角色的信任策略中检查自定义 OpenID 声明?

我正在使用 auth0 对用户进行身份验证以接收包含以下声明的 id 令牌 "http://myapp.com/scope": "写" 使用带有 OpenID 身份验证提供程序(即 auth0)的 Cognito 身份池,我能够成功获得访问 aws 服务的临时凭证.但是,我想根据上面的自定义声明限制对这些服务的访问.我认为正确的方法是编辑与我的身份池关联的信任策略,但我不确定如何添加条件来检查 ..
发布时间:2021-11-30 17:29:25 其他开发

API Keys 和 Secret Keys 是如何工作的?如果我必须将我的 API 和密钥传递给另一个应用程序是否安全?

我刚刚开始考虑 api 密钥和秘密密钥的工作原理.就在 2 天前,我注册了 Amazon S3 并安装了 S3Fox 插件.他们要求我提供我的访问密钥和秘密访问密钥,两者都需要我登录才能访问. 所以我想知道,如果他们向我要我的密钥,他们一定把它存储在某个地方,对吗?这与询问我的信用卡号或密码并将其存储在他们自己的数据库中基本相同吗? 秘密密钥和 api 密钥应该如何工作?他们需要保密到 ..
发布时间:2021-11-28 21:50:23 其他开发

无法通过 Lambda 中的 VPC 端点访问 S3

我的 VPC 中有一个 Lambda 函数,我想访问 S3 存储桶. 我认为我已经正确设置了 S3 VPC 端点, 因为我在同一个子网(Lambda 函数子网)中创建了一个 EC2 实例, 使用相同的安全组, 并运行 Lambda 函数代码的副本, 可以正确显示S3文件内容. 但是当我在 Lambda 中运行代码时,它失败了. 那么,我想知道“在 EC2 ..
发布时间:2021-11-27 11:18:48 其他开发

从 VPC 中的 Lambda 访问 AWS S3

总的来说,我对在 VPC 中使用 AWS Lambda 感到非常困惑.问题是 Lambda 在尝试访问 S3 存储桶时超时.解决方案似乎是 VPC Endpoint. 我已将 Lambda 函数添​​加到 VPC,以便它可以访问 RDS 托管数据库(以下代码中未显示,但可以正常使用).但是,现在我无法访问 S3 并且任何尝试这样做都会超时. 我尝试创建 VPC S3 端点,但没有任何改 ..
发布时间:2021-11-27 11:16:45 其他开发

使用 VPC 配置添加 AWS Lambda 导致访问 S3 时超时

我正在尝试从 AWS Lambda 访问 VPC 上的 S3 和资源,但由于我将 AWS Lambda 配置为访问 VPC,因此在访问 S3 时超时.这是代码 from __future__ import print_function导入 boto3导入日志导入jsonprint('加载函数')s3 = boto3.resource('s3')导入 urllibdef lambda_handle ..
发布时间:2021-11-27 11:16:37 其他开发

如何限制话题的消费率?

有没有其他人解决过以下问题? 我有 SNS 主题 充满了来自 S3 的事件,并且有 Lambda 函数 订阅了这个主题,当有数千个事件被放到这个主题时主题,由于超出并发限制,lambda 函数受到限制. 我不想请求增加并发执行的限制,但我会从主题中减少并发消耗,但我没有找到如何操作的信息做吧.谢谢. 解决方案 关于 SNS 的几个选项: 1) SNS 最大接收率 设置 SN ..
发布时间:2021-11-27 11:08:51 其他开发

从 AWS Elastic Transcoder 作业中检索文件和缩略图 url

我有一个 rails 应用程序,它使用 CORS 配置将视频上传到 AWS S3 存储桶,当完成并创建 rails 视频对象时,会创建一个 Elastic Transcoder 作业以将视频编码为 .mp4 格式并生成缩略图图像,AWS SNS 已启用以在作业完成时发送推送通知. 该过程一切正常,上传完成后我会收到 SNS 通知,但是我可以很好地获取视频网址,但通知仅包含缩略图模式而不是实际 ..
发布时间:2021-11-27 11:07:36 其他开发

如何将原始电子邮件 (MIME) 从 AWS SES 转换为 Gmail?

我有一个与我的域帐户相关联的 Gmail 帐户. AWS SES 将向我的 S3 存储桶发送消息.从那里,SNS 会将原始格式的消息转发到我的 Gmail 地址. 如何将原始邮件自动转换为标准电子邮件格式? 解决方案 原始消息采用标准电子邮件格式.我认为您想知道的是如何将标准原始电子邮件解析为您可以操作的对象,以便您可以将其转发给自己并使其看起来像标准电子邮件.AWS 提供了有 ..
发布时间:2021-11-27 11:02:38 其他开发

使用来自 node.js 的 AWS SES 在邮件中上传 .jpg 图像附件

以下是来自 https://github.com/andrewpuch/aws-ses 的代码-node-js-examples 那里有一个例子要发送和带附件的电子邮件, 我修改了代码以从 aws s3 获取图像文件并将其与邮件作为附件一起发送,当我为文本文件执行此操作时,它运行良好,但是当我发送图像时,在邮件中我是无法看到图像,因为它已损坏. 当我尝试使用苹果照片应用程序打开时,它显 ..
发布时间:2021-11-27 11:01:29 其他开发

对于较大的文件,Lambda S3 Put 函数不会触发

我目前正在探索将电子邮件的附件与 .eml 文件本身分开存储.我有一个 SES 规则集,可以将入站电子邮件传送到存储桶.当存储桶检索电子邮件时,S3 Put Lambda 函数会解析原始电子邮件(MIME 格式),base64 解码附件缓冲区,并对每个附件和原始 .eml 文件执行 putObject 到新存储桶. 我的问题是,此 Lambda 函数不会为附件超过 ~3-4 MB 的电子邮件 ..
发布时间:2021-11-27 11:01:05 其他开发

AWS SES S3 处理入站电子邮件

我正在开发基于 AWS SES 的电子邮件发布系统.对于所有传入的电子邮件,我已将路由设置为将消息保存在 S3 存储桶中,以便我可以异步处理它们.我遇到的问题是消息以原始格式保存在 S3 存储桶中:标题、电子邮件正文等 + 加密附件(一个巨大的字符串) - 全部在一个文件中. 有没有办法在 AWS SES 级别将电子邮件与附件分开,并将两者保存在单独的文件中?我正在尝试以我需要的格式直接从 ..
发布时间:2021-11-27 11:00:33 其他开发

如何将 AWS S3 中的存储桶图像读取到 Sagemaker Jupyter 实例中

我对 AWS 和云环境非常陌生.我是一名机器学习工程师,我计划在 AWS 环境中构建一个自定义 CNN,以预测给定的图像是否存在 iPhone. 我做了什么: 第 1 步: 我为 iPhone 分类器创建了一个 S3 存储桶,文件夹结构如下: Iphone_Classifier >火车 >Yes_iphone_images >1000张图片>No_iphone_images ..
发布时间:2021-11-27 10:56:32 AI人工智能

Amazon SageMake 抛出错误构建自己的算法容器执行时间?

我正在尝试在 amazon sagemaker 中运行我自己的算法容器,在部署时,我收到如下错误. predictor = tree.deploy(1, 'ml.m4.xlarge', serializer=csv_serializer)ValueError:托管端点决策树样本-2018-03-01-09-59-06-832时出错:失败原因:生产变体AllTraffic的主要容器未通过ping健 ..
发布时间:2021-11-27 10:56:15 其他开发

在 S3 中访问数据的权限不足

我正在关注入门教程(Console) - Amazon SageMaker 上推荐引擎的 Amazon Personalize.导入User-item交互数据时,出现如下错误: 您的数据集导入出错 访问 S3 中数据的权限不足.请查看 https:///docs.aws.amazon.com/personalize/latest/dg/getting-started.html#gs-u ..
发布时间:2021-11-27 10:55:04 其他开发

使用 sagemaker 将数据上传到 S3

当我尝试将数据上传到 S3 存储桶时,SageMaker 出现问题.我收到此错误: NameError Traceback(最近一次调用最后一次)在 ()19 下载('http://data.mxnet.io/data/caltech-256/caltech-256-60-train.rec')20--->21 upl ..
发布时间:2021-11-27 10:54:52 其他开发

调用 aws sagemaker 端点

我在 S3 中有一些数据,我想创建一个 lambda 函数来预测我部署的 aws sagemaker 端点的输出,然后我再次将输出放入 S3.在这种情况下是否有必要创建一个 api 网关,如此 link ?在 lambda 函数中我必须放什么.我期望放(在哪里可以找到数据,如何调用端点,在哪里放数据) 导入boto3导入 io导入json导入 csv导入操作系统client = boto3.cl ..
发布时间:2021-11-27 10:52:53 Python

如何使用来自 s3 的预训练模型来预测一些数据?

我已经使用 sagemaker 训练了一个语义分割模型,输出已保存到 s3 存储桶中.我想从 s3 加载这个模型来预测 sagemaker 中的一些图像. 我知道如何预测我是否在训练后让笔记本实例继续运行,因为它只是一个简单的部署,但如果我想使用旧模型并没有真正的帮助. 我已经查看了这些来源,并且能够自己想出一些东西,但它不起作用,因此我在这里: https://course.f ..
发布时间:2021-11-27 10:51:46 Python