如何在 AWS S3 存储桶中查找重复文件? [英] How to find duplicate files in an AWS S3 bucket?

问题描述

有没有办法在 Amazon S3 存储桶中递归查找重复文件?在普通的文件系统中，我会简单地使用:

Is there a way to recursively find duplicate files in an Amazon S3 bucket? In a normal file system, I would simply use:

fdupes -r /my/directory

推荐答案

Amazon S3 中没有查找重复项"命令.

There is no "find duplicates" command in Amazon S3.

但是，您需要执行以下操作:

However, you do do the following:

• 检索存储桶中的对象列表
• 查找具有相同 ETag(校验和)和Size
的对象

• Retrieve a list of objects in the bucket
• Look for objects that have the same ETag (checksum) and Size

它们(极有可能)是重复的对象.

They would (extremely likely) be duplicate objects.

这篇关于如何在 AWS S3 存储桶中查找重复文件?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！