amazon-s3相关内容

如何在AWS S3中上传图像缓冲区数据?

我正在尝试将缓冲区数据从图像上传到S3。它上传得很好。但是当我尝试下载/查看S3中的图像时,它抛出一个错误。我已经尝试了以下几种方式- 我可以使用缓冲格式(JSON)的图像。我无法更改此设置 let image = { "type": "Buffer", "data": [45, 45, 45....] let buf = new Buffer(image ) let pa ..
发布时间:2022-03-24 18:27:49 前端开发

可以使用s3 java sdk通过流写入s3吗?

通常,当文件必须上载到S3时,必须先将其写入磁盘,然后才能使用TransferManager API之类的东西上载到云中。如果上载没有按时完成(应用程序关闭并在不同的服务器上重新启动等),这会导致数据丢失。因此,我想知道是否可以直接通过网络将所需的云位置作为接收器写入到流中。 JAVA 您没有说明您使用的是什么语言,但我将根据您的大小写假定推荐答案。在这种情况下,答案是肯定的:Tran ..
发布时间:2022-03-24 18:18:00 其他开发

无法将具有ACL公共读取的文件上载到数字海洋空间

我正在尝试从浏览器将图像上载到数字海洋空间。这些图片应该是公开的。我能够成功上载图像。 但是,尽管ACL设置为public-read,但上载的文件始终是私有的。 我知道它们是私有的,因为a)仪表板显示权限是";private";,b)因为公共URL不起作用,c)在仪表板中手动将权限更改为";public";可以修复所有问题。 这是我正在使用的整个流 ..
发布时间:2022-03-24 18:10:44 其他开发

在将文件传输到AWS S3时处理AWS STS密钥过期?

我们使用AWS SDK for.Net在AWS S3 Bucket上创建了用于文件访问的STS会话令牌系统,时间范围为900秒,实际为(15分钟),如果传输时间较长(文件完成上传超过15分钟),我可以创建新密钥并恢复上传吗?是否可以使用AWS SDK进行处理? 推荐答案 首先,在调用STS API的代码中,您可以指定以秒为单位的过期时间。默认值确实是900秒,但可以手动设置为更高的值。 ..
发布时间:2022-03-24 17:54:07 C#/.NET

用于Node.js的AWS S3 SDK V3-GetObjectCommand v/s getSignedUrl

我正在构建一个Web应用程序,在其中我需要让用户将文档上传到他们的帐户,还可以阅读他们上传的所有文档。此外,我想让用户也能够上传个人资料照片。要处理文件存储,我选择了AWS S3。 然而,我在使用SDK(V3)时遇到了很多问题。请记住,我从未使用过以前的版本(V2)。我通过npm安装了2个包,@aws-sdk/client-s3和@aws-sdk/s3-request-presigner 。 ..

在Java中使用Lambda函数的AWS S3事件通知

我正在尝试使用Lambda函数进行S3 PUT事件通知。一旦我将任何新的JSON文件放入/添加到S3存储桶中,就应该调用我的Lambda函数。 我面临的挑战是没有足够的文档来用Java实现这样的Lambda函数。我找到的大部分文档都是Node.js的 我希望,应该调用我的Lambda函数,然后在Lambda函数内部,我希望使用添加的JSON,然后将该JSON发送到AWS ES服务。 但 ..
发布时间:2022-03-24 17:44:35 Java开发

如何使用Golang检查S3对象大小

我实现了一个从AWS S3存储桶下载对象的函数。这个不错。但我需要显示下载进度条。为此,我需要根据here预先知道对象的大小 。有人知道如何获取对象大小吗? 这是我的代码。 func DownloadFromS3Bucket(bucket, item, path string) { file, err := os.Create(filepath.Join(path, item) ..
发布时间:2022-03-24 17:34:04 其他开发

Boto 3-松散的日期格式

我正在尝试使用boto3读取镶木地板文件。原始文件的日期格式如下: 2016-12-07 23:00:00.000 并且它们存储为时间戳。 我在Sage Maker中的代码是: boto_s3 = boto3.client('s3') r = boto_s3.select_object_content( Bucket='bucket_name', ..
发布时间:2022-03-12 20:18:16 其他开发

如何获取AWS S3中的所有子目录、所有级别(使用python boto3的文件除外)

有很多类似的问题,但我在这个问题上找不到确切的答案。如何从初始目录开始获取所有子目录。子目录的深度未知。 假设我有: data/subdir1/subdir2/file.csv data/subdir1/subdir3/subdir4/subdir5/file2.csv data/subdir6/subdir7/subdir8/file3.csv 因此,我希望获得所有长度的子目录的 ..
发布时间:2022-03-12 20:08:23 Python

使用IAM角色时的AWS boto3 InvalidAccessKeyId

我使用预先签名的帖子/url向S3上传和从S3下载。预先签名的url/post由lambda函数中的boto3生成(与zappa一起部署)。 而我将AWS_SECRET_ACCESS_KEY和AWS_ACCESS_KEY_ID添加为环境变量可以很好地工作。然后,我删除了我的凭据,并将IAM角色添加到lambda以完全访问S3存储桶。之后,lambda返回带有预签名的URL,getObject ..

如何为AWS S3存储桶添加ACL授权者?

从docs到目前为止,我能遵循的是,您可以获取并放置S3存储桶的整个ACL(访问控制列表)。 获取规格描述您将获得所有现有授权。 PUT规范描述您需要写回整个ACL对象。 但是,如果我只想插入一个新的被授权者,该怎么办呢?(理想情况下不检索ACL中的所有授权才能执行此操作) 推荐答案 For Me的工作方式如下(仍不确定是否全部转账): grant = { ..
发布时间:2022-03-12 19:29:29 其他开发

不带路径的S3预签名URL

我需要一种让客户端将数据上传到S3而不向他们显示文件的完整位置(路径)的方法。AWS S3预签名URL是否可以做到这一点? 我就是这样使用boto3 s3.client.generate_presigned_url( ClientMethod='put_object', ExpiresIn=7200, Params={'Bucket': BUCKET, 'Key': na ..
发布时间:2022-03-12 19:25:40 其他开发

为什么S3对象的ETag会在副本下更改?

我正在尝试使用boto3在不同帐户的存储桶中的前缀之间执行S3同步。我的尝试是列出帐户A中的源存储桶/前缀中的对象,列出帐户B中的目标存储桶/前缀中的对象,并复制前者中的ETag与后者中的对象的ETag不匹配的对象。这似乎是正确的做法。 但是,似乎即使复制操作成功,每次执行复制时目的对象的ETag也是不同的。具体地说, >>> # Here is the source object: ..
发布时间:2022-03-12 19:11:03 其他开发

AWS boto3 page_iterator.search不能将datetime.datetime与字符串进行比较

正在尝试捕获位于S3上的增量文件(上次处理后创建的文件)。为此,请使用boto3过滤迭代器by query LastModified value,而不是返回所有文件列表并在客户端站点上进行筛选。 根据http://jmespath.org/?,以下查询有效,过滤如下json响应; filtered_iterator = page_iterator.search( "Contents[? ..
发布时间:2022-03-12 18:46:56 其他开发