为什么S3对象的ETag会在副本下更改？ [英] Why would an S3 object's ETag change under a copy?

问题描述

我正在尝试使用boto3在不同帐户的存储桶中的前缀之间执行S3同步。我的尝试是列出帐户A中的源存储桶/前缀中的对象，列出帐户B中的目标存储桶/前缀中的对象，并复制前者中的ETag与后者中的对象的ETag不匹配的对象。这似乎是正确的做法。

但是，似乎即使复制操作成功，每次执行复制时目的对象的ETag也是不同的。具体地说，

>>> # Here is the source object: {'Key': 'blah/blah/file_20210328_232250.parquet', 'LastModified': datetime.datetime(2021, 3, 28, 23, 38, 2, tzinfo=tzutc()), 'ETag': '"ba230f7a358cf1bee6c98250089da435"', 'Size': 52319, 'StorageClass': 'STANDARD'}
>>> client.copy_object(
CopySource={"Bucket": "source-bucket-in-acct-a", "Key": "blah/blah/file_20210328_232250.parquet"),
Bucket="dest-bucket-in-acct-b",
Key="blah/blah/file_20210328_232250.parquet"
)
... 'CopyObjectResult': {'ETag': '"84f11f744cf996e16a3af0d6d2fbee07"', 'LastModified': datetime.datetime(2021, 4, 20, 2, 23, 40, tzinfo=tzutc())}}

请注意，ETag已更改。如果我再次运行复制，它将再次具有不同的ETag。我尝试了复制请求的各种附加参数(MetadataDirective="COPY"等)。我可能遗漏了保留ETag的东西，但我的理解是ETag派生自对象的数据，而不是其元数据。

现在，它在AWS documentation中说，对于成功的非多部分复制操作，eTag是相同的，这是事实，但情况似乎并非如此。这不是一份多部分的副本，我已经检查了实际数据，它们是相同的。因此，我的问题是：

如果复制不成功，对象的ETag如何更改？

推荐答案

基于评论。

对象的ETag哈希计算不一致，无法完全用于检查对象的完整性。发件人AWS blog：

ETag并非始终是MD5摘要，不能始终用于验证上载文件的完整性。

这是因为ETagdepend计算对象是如何创建和加密的：

ETag是否为MD5摘要取决于对象的创建和加密方式。

这篇关于为什么S3对象的ETag会在副本下更改？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！