amazon-web-services相关内容

如何获取AWS S3中的所有子目录、所有级别(使用python boto3的文件除外)

有很多类似的问题,但我在这个问题上找不到确切的答案。如何从初始目录开始获取所有子目录。子目录的深度未知。 假设我有: data/subdir1/subdir2/file.csv data/subdir1/subdir3/subdir4/subdir5/file2.csv data/subdir6/subdir7/subdir8/file3.csv 因此,我希望获得所有长度的子目录的 ..
发布时间:2022-03-12 20:08:23 Python

如何从S3中解压缩ZIP文件,重新压缩它们,然后将它们移动到S3存储桶中(&;)?

我有一个S3存储桶,里面有一堆zip文件。我想要解压缩zip文件,并且对于每个解压缩的项目,我想创建一个$file.gz并将其保存到另一个S3存储桶中。我在考虑为它做一个胶水工作,但我不知道怎么开始。有线索吗? 最终,我希望实现我的解决方案,只要S3存储桶中有新文件,就应该触发它 是Lambda函数还是任何其他服务更适合于此? 推荐答案 从体系结构的角度来看,这取决于压缩文 ..
发布时间:2022-03-12 20:00:21 其他开发

Python Boto3 MFA与ACCESS_KEY_ID、ACCESS_KEY、SESSION_TOKEN和MFA建立连接,不传递RoleArn

我们是否可以使用python boto3建立AWS连接来列出和获取具有临时会话的对象,并且只使用以下内容?并且不通过RoleArn? _AWS_ACCESS_KEY_ID, _AWS_SECRET_ACCESS_KEY, _AWS_SESSION_TOKEN, MFA代码 我只有以下临时会话,由于我没有角色Arn,我应该如何传递此会话 我还检查了帖子 boto3 ..
发布时间:2022-03-12 19:54:20 Python

使用IAM角色时的AWS boto3 InvalidAccessKeyId

我使用预先签名的帖子/url向S3上传和从S3下载。预先签名的url/post由lambda函数中的boto3生成(与zappa一起部署)。 而我将AWS_SECRET_ACCESS_KEY和AWS_ACCESS_KEY_ID添加为环境变量可以很好地工作。然后,我删除了我的凭据,并将IAM角色添加到lambda以完全访问S3存储桶。之后,lambda返回带有预签名的URL,getObject ..

Boto3 CloudFront对象使用计数

希望统计CloudFront Dist中的所有对象分别被击中的次数,以便我可以生成Excel表来跟踪使用情况统计数据。我一直在浏览CloudFront的boto3文档,但我还不能确定在哪里可以访问到这些信息。我看到AWS CloudFront控制台会生成一个“热门对象”报告。我不确定是否有人知道如何获取AWS在boto3中为该报告生成的数字? 如果无法通过Boto3访问,是否有我应该改用的A ..
发布时间:2022-03-12 19:45:27 Python

如何为AWS S3存储桶添加ACL授权者?

从docs到目前为止,我能遵循的是,您可以获取并放置S3存储桶的整个ACL(访问控制列表)。 获取规格描述您将获得所有现有授权。 PUT规范描述您需要写回整个ACL对象。 但是,如果我只想插入一个新的被授权者,该怎么办呢?(理想情况下不检索ACL中的所有授权才能执行此操作) 推荐答案 For Me的工作方式如下(仍不确定是否全部转账): grant = { ..
发布时间:2022-03-12 19:29:29 其他开发

不带路径的S3预签名URL

我需要一种让客户端将数据上传到S3而不向他们显示文件的完整位置(路径)的方法。AWS S3预签名URL是否可以做到这一点? 我就是这样使用boto3 s3.client.generate_presigned_url( ClientMethod='put_object', ExpiresIn=7200, Params={'Bucket': BUCKET, 'Key': na ..
发布时间:2022-03-12 19:25:40 其他开发

boto3EC2 DESCRIBE实例中的分页

我在boto3中进行分页时遇到问题,&;无法获取AWS帐户中的所有实例。 仅获取以下实例的50%(2000个左右,因为有4000个) 下面是我的代码 import boto3 ec2 = boto3.client('ec2') paginator = ec2.get_paginator('describe_instances') response = paginator ..
发布时间:2022-03-12 19:14:02 Python

为什么S3对象的ETag会在副本下更改?

我正在尝试使用boto3在不同帐户的存储桶中的前缀之间执行S3同步。我的尝试是列出帐户A中的源存储桶/前缀中的对象,列出帐户B中的目标存储桶/前缀中的对象,并复制前者中的ETag与后者中的对象的ETag不匹配的对象。这似乎是正确的做法。 但是,似乎即使复制操作成功,每次执行复制时目的对象的ETag也是不同的。具体地说, >>> # Here is the source object: ..
发布时间:2022-03-12 19:11:03 其他开发

如何使用Boto列出所有正在运行的EMR群集?

如何使用boto列出我的AWS帐户中的所有运行群集?使用命令行,我可以使用以下命令获取它们: aws emr list-clusters --profile my-profile --region us-west-2 --active 但是,我想使用boto3做同样的事情。但是,以下代码不返回任何群集: import boto3 session = boto3.Session(p ..
发布时间:2022-03-12 19:07:39 Python

如何设置AWS SNS和SQS以实现高可用性?

SNS问题 我目前正在为SNS使用pythonboto3库(例如,创建主题、订阅主题、发送SNS到主题)。当我使用Resource或Client时,我必须指定一个区域(例如‘us-west-2’、‘us-East-1’)。我没有看到任何用于处理区域故障转移的内置选项。我的问题是,您如何设置AWS SNS和SQS以实现高可用性/区域故障转移? import boto3 client = b ..
发布时间:2022-03-12 19:02:06 其他开发

使用Boto3配置文件覆盖S3端点

概述: 我正在尝试使用配置文件(~/aws/confg)覆盖boto3中的某些变量。 在我的用例中,我希望使用fakes3服务并向localhost发送S3请求。 示例: 在boto(不是boto3)中,我可以在~/.boto中创建类似以下的配置: [s3] host = localhost calling_format = boto.s3.connection.Ordinar ..
发布时间:2022-03-12 18:43:03 Python

将Base64映像上传到S3并返回URL

我正在尝试使用Python将base64映像上传到S3存储桶。 我用谷歌搜索了一下,找到了几个答案,但没有一个对我管用。有些答案用的是boto,而不是boto 3,因此对我来说毫无用处。 我也尝试过此链接:Boto3: upload file from base64 to S3但它对我无效,因为Object方法对于S3是未知的。 以下是我到目前为止的代码: import boto3 ..
发布时间:2022-03-12 18:40:15 Python

AWS上的API网关和lambda出现内部服务器错误(&Q)

本网站和网站上都有大量类似的问题,这让我相信AWS的文档确实有问题,因为这给这么多人带来了悲痛。 因此,我决定一步一步地发布最基本的示例。 首先,我们创建一个新函数: 它默认";一切";,我不碰一行代码。 (红色错误消息为AWS与Firefox不配合) 默认代码通过测试: 现在我添加一个触发器: 这为我提供了触发器的链接: 我可以转到 ..
发布时间:2022-03-11 21:22:17 其他开发

如何使用Amazon API Gateway将我的API设置为需要API密钥?

我一直遵循有关此问题的建议post我已在AWS上创建了一个API密钥,并将我的POST方法设置为需要API密钥。 我还设置了使用计划并将API密钥链接到它。 我的API密钥已启用 当我一直在使用Postman测试请求时,我的请求仍然在没有任何附加标头的情况下通过。 我预计不会通过任何请求,除非我在请求中包含了这样的头"x-api-key":"my_api_key" 我 ..
发布时间:2022-03-11 21:16:38 其他开发