如何在AWS S3存储区中查找重复的文件？ [英] How to find duplicate files in an AWS S3 bucket?

问题描述

有没有办法在Amazon S3存储区中递归地发现重复的文件？在正常的文件系统中，我只需使用：

  fdupes -r / my / directory 
  

解决方案

在Amazon S3中没有find duplicate命令。

但是，您执行以下操作：

• 检索对象列表在桶中


• 查找具有相同的对象 ETag （checksum）和大小

他们（非常可能）是重复的对象。

Is there a way to recursively find duplicate files in an Amazon S3 bucket? In a normal file system, I would simply use:

fdupes -r /my/directory

解决方案

There is no "find duplicates" command in Amazon S3.

However, you do do the following:

• Retrieve a list of objects in the bucket
• Look for objects that have the same ETag (checksum) and Size

They would (extremely likely) be duplicate objects.

这篇关于如何在AWS S3存储区中查找重复的文件？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！