boto3相关内容

如何使用 boto3 创建 ec2 实例

是否可以在 python 中使用 boto3 创建一个 ec2 实例?Boto3 文档在这里没有帮助,我在网上找不到任何帮助文档.请提供一些示例代码/链接. 解决方案 API 已更改,但它就在文档中 # Boto 3ec2.create_instances(ImageId='', MinCount=1, MaxCount=5) 文档链接:http://bot ..
发布时间:2021-12-21 11:02:20 Python

BOTO3 - generate_presigned_url for `put_object` return `我们计算的请求签名与您提供的签名不匹配`

我正在尝试创建一个预先签名的 url,以帮助一些客户上传文件.这是我目前正在运行的测试脚本 # 获取服务客户端.s3 = boto3.client('s3')boto3.set_stream_logger(name='botocore')# 生成 URL 以从 'bucket-name' 获取 'key-name'url = s3.generate_presigned_url(ClientMet ..
发布时间:2021-12-15 20:33:11 Python

collectstatic 在 S3 中错误地创建了多个 CSS 文件

我已将文件上传到 S3,使用我的 Wagtail/django 应用程序(静态和上传)工作正常.现在我正在尝试使用 ManifestStaticFilesStorage 来启用缓存破坏.应用程序正确生成了 url,并且文件正在使用哈希复制到 S3. 但是每次我运行 collectstatic 时,一些文件都会被复制两次到 S3 - 每个都有不同的哈希值.到目前为止,所有 CSS 文件都存在此 ..
发布时间:2021-12-15 20:31:50 其他开发

如何使用 Boto3 按上次修改日期过滤 s3 对象

有没有办法通过 boto3 中的最后修改日期过滤 s3 对象?我已经构建了一个包含存储桶中所有内容的大型文本文件列表.一段时间过去了,我只想列出上次遍历整个存储桶后添加的对象. 我知道我可以使用 Marker 属性从某个对象名称开始,所以我可以给它我在文本文件中处理的最后一个对象,但这并不能保证新对象不是't 在该对象名称之前添加.例如如果文本文件中的最后一个文件是 Oak.txt 并且添加 ..
发布时间:2021-12-15 20:25:27 Python

如何查找 S3 存储桶中文件夹的大小?

我在 python 中使用 boto3 模块与 S3 交互,目前我能够获取 S3 存储桶中每个单独键的大小.但我的动机是只找到顶级文件夹的空间存储(每个文件夹都是不同的项目),我们需要根据使用的空间对每个项目收费.我能够获得顶级文件夹的名称,但无法获得有关以下实现中文件夹大小的任何详细信息.以下是我获取顶级文件夹名称的实现. 导入boto导入 boto.s3.connectionAWS_ACCE ..
发布时间:2021-12-15 20:25:19 Python

使用 POST 基于 Amazon AWS S3 浏览器的上传 -

我正在构建一个包含文件上传功能的 Web 应用程序.我的目标是直接从用户开始上传到 S3 存储桶.该策略是预先签署将作为表单提交的 POST 请求. 障碍是一个 SignatureDoesNotMatch 错误 - 据我所知,我已经遵守了文档,并且已经探索了很多选项,但仍然无法解决.我能够生成预先签名的下载链接. 参考: AWS POST 文档 示例 boto3 ge ..
发布时间:2021-12-15 20:25:10 Python

从 S3 读取 ZIP 文件,无需下载整个文件

我们有大小为 5-10GB 的 ZIP 文件.典型的 ZIP 文件有 5-10 个内部文件,每个未压缩的大小为 1-5 GB. 我有一套很好的 Python 工具来读取这些文件.基本上,我可以打开一个文件名,如果有 ZIP 文件,工具会在 ZIP 文件中搜索,然后打开压缩文件.这一切都相当透明. 我想将这些文件作为压缩文件存储在 Amazon S3 中.我可以获取 S3 文件的范围,所 ..
发布时间:2021-12-15 20:24:58 Python

如何在不首先写入标准输出的情况下将日志从内存直接写入 AWS S3?(Python,boto3)

我正在尝试将 Python 日志文件直接写入 S3,而没有先将它们保存到标准输出.我希望在程序运行完成后将日志文件自动写入 S3.我想使用 boto3 put_object 方法: 导入 atexit导入日志导入 boto3def write_logs(body, bucket, key):s3 = boto3.client("s3")s3.put_object(Body=body, Bucke ..
发布时间:2021-12-15 20:23:16 其他开发

使用 boto3 从 S3 存储桶中读取多个 csv 文件

我需要使用 python 中的 boto3 从 S3 存储桶中读取多个 csv 文件,最后将这些文件合并到 Pandas 中的单个数据帧中. 我能够从 python 中的以下脚本读取单个文件 s3 = boto3.resource('s3')桶 = s3.Bucket('测试桶')对于bucket.objects.all()中的obj:键 = obj.keybody = obj.get( ..
发布时间:2021-12-15 20:21:19 Python

有什么方法可以使用 boto3 将文件直接写入 S3?

我编写了一个 python 脚本来处理非常大的文件(总共只有几个 TB),我将在 EC2 实例上运行这些文件.之后,我想将处理后的文件存储在 S3 存储桶中.目前,我的脚本首先将数据保存到磁盘,然后将其上传到 S3.不幸的是,考虑到等待实例首先写入磁盘然后上传所花费的额外时间,这将是相当昂贵的. 有什么办法可以使用boto3将文件直接写入S3存储桶吗? 编辑:为了澄清我的问题,我问我是 ..
发布时间:2021-12-15 20:19:01 Python

boto3 list_objects 和 list_objects_v2 有什么区别?

我正在尝试使用 boto3 在 python 中列出 Amazon s3 存储桶中的对象. 似乎boto3 有两个函数来列出存储桶中的对象:list_objects() 和list_objects_v2(). 这两种有什么区别,使用一种比使用另一种有什么好处? 解决方案 并排比较. list_objects() : response = client.list_obje ..
发布时间:2021-12-15 20:16:09 Python

如何通过 boto3 更改现有密钥的存储类别

使用 AWS S3 服务时,我需要将现有密钥的存储类别从 STANDARD 更改为 STANDARD_IA. 来自 boto 的 change_storage_class 在 boto3 中不存在. Boto3 中的等价物是什么? 解决方案 来自 亚马逊文档 您还可以更改已存储在 Amazon S3 中的对象的存储类,方法是将其复制到同一存储桶中的相同键名.为此,您可以在 ..
发布时间:2021-12-15 20:06:52 其他开发