boto3相关内容

支持散列验证的分块上传到S3

我正在寻找命令行工具或允许将大文件上载到S3并进行哈希验证的Python库。 有AWS article说明如何通过提供content-md5标头自动完成此操作。 目前还不清楚哪些命令行工具可以或不可以执行此操作: rclone的文档说明 使用分块上载上载的文件没有MD5SUM。 s3cmd对此只字不提,但它支持同步功能的MD5 s4cmd手册中有一整段,但仍不清 ..
发布时间:2022-09-23 21:11:11 其他开发

在Glue Python外壳作业中使用AWS X-Ray

是否可以在使用标准部署环境的Glue python外壳作业中使用x-ray patching for boto3? aws-xray-sdk库不在list of supported libraries中。但不包括支持的库列表中的boto3检测功能,似乎是一个明显的遗漏。 预先感谢您的考虑和回复。 推荐答案 您可以尝试Prabhakar建议的简单安装方法,在您的粘合作业中包含aw ..
发布时间:2022-08-16 19:06:37 Python

有没有通过boto3重命名S3文件夹的简单方法?

我有带文件夹的S3存储桶,文件夹里面有大文件。 我要使用python3-boto3脚本重命名该文件夹。 我读了this(";如何使用Python";重命名Amazon S3文件夹对象),他所做的是复制带有新前缀的文件,然后删除原始文件夹。 这样做效率很低,而且因为我的文件很大,所以需要很长时间。 有没有更简单/更有效的方法? 推荐答案 无法重命名 ..
发布时间:2022-08-06 11:35:21 其他开发

AWS Transribe无法在boto3中没有LanguageCode的情况下启动_转录_作业

我在S3中有一个音频文件。 我不知道音频文件的语言。因此,我需要将IdentifyLanguage用于start_transcription_job()。 LanguageCode将为空,因为我不知道音频文件的语言。 环境 使用 Python3.8运行时, Boto3版本1.16.5, Botocore版本:1.19.5, 没有Lambda层。 以下是我的转录作业代码 ..
发布时间:2022-06-30 19:30:38 其他开发

403使用Sig v4:';将数据从AWS Lambda索引到Elasticsearch时出错;没有[INDEX:DATA/WRITE/BULK]';的权限

我的函数可以从本地Jupyter笔记本将单个和批量文档索引到我的AWS Elasticsearch,但当我部署到Lambda时,它一直返回此错误: "errorMessage": "AuthorizationException(403, 'security_exception', 'no permissions for [indices:data/write/bulk] and User [ ..
发布时间:2022-03-12 20:25:34 其他开发

确定特定AWS资源的创建者

我们在过去几年中使用了多项AWS服务。现在我们有很多AWS资源,这些资源都是由Tag创建的,但还没有创建。我们想用Tag创建的w来标记我们的资源(支持标记)上的每一个,指定创建它的用户的名称/电子邮件。可以通过任何API(Boto3)或控制台来实现吗?根据我的研究,这似乎是不可能的,但我想与社区确认是否有任何方法可以做到这一点。 推荐答案 没有现成的解决方案,但您可以使用CloudWa ..
发布时间:2022-03-12 20:21:47 其他开发

Boto 3-松散的日期格式

我正在尝试使用boto3读取镶木地板文件。原始文件的日期格式如下: 2016-12-07 23:00:00.000 并且它们存储为时间戳。 我在Sage Maker中的代码是: boto_s3 = boto3.client('s3') r = boto_s3.select_object_content( Bucket='bucket_name', ..
发布时间:2022-03-12 20:18:16 其他开发

如何获取AWS S3中的所有子目录、所有级别(使用python boto3的文件除外)

有很多类似的问题,但我在这个问题上找不到确切的答案。如何从初始目录开始获取所有子目录。子目录的深度未知。 假设我有: data/subdir1/subdir2/file.csv data/subdir1/subdir3/subdir4/subdir5/file2.csv data/subdir6/subdir7/subdir8/file3.csv 因此,我希望获得所有长度的子目录的 ..
发布时间:2022-03-12 20:08:23 Python

如何从S3中解压缩ZIP文件,重新压缩它们,然后将它们移动到S3存储桶中(&;)?

我有一个S3存储桶,里面有一堆zip文件。我想要解压缩zip文件,并且对于每个解压缩的项目,我想创建一个$file.gz并将其保存到另一个S3存储桶中。我在考虑为它做一个胶水工作,但我不知道怎么开始。有线索吗? 最终,我希望实现我的解决方案,只要S3存储桶中有新文件,就应该触发它 是Lambda函数还是任何其他服务更适合于此? 推荐答案 从体系结构的角度来看,这取决于压缩文 ..
发布时间:2022-03-12 20:00:21 其他开发

Python Boto3 MFA与ACCESS_KEY_ID、ACCESS_KEY、SESSION_TOKEN和MFA建立连接,不传递RoleArn

我们是否可以使用python boto3建立AWS连接来列出和获取具有临时会话的对象,并且只使用以下内容?并且不通过RoleArn? _AWS_ACCESS_KEY_ID, _AWS_SECRET_ACCESS_KEY, _AWS_SESSION_TOKEN, MFA代码 我只有以下临时会话,由于我没有角色Arn,我应该如何传递此会话 我还检查了帖子 boto3 ..
发布时间:2022-03-12 19:54:20 Python

使用IAM角色时的AWS boto3 InvalidAccessKeyId

我使用预先签名的帖子/url向S3上传和从S3下载。预先签名的url/post由lambda函数中的boto3生成(与zappa一起部署)。 而我将AWS_SECRET_ACCESS_KEY和AWS_ACCESS_KEY_ID添加为环境变量可以很好地工作。然后,我删除了我的凭据,并将IAM角色添加到lambda以完全访问S3存储桶。之后,lambda返回带有预签名的URL,getObject ..