s3cmd相关内容

支持散列验证的分块上传到S3

我正在寻找命令行工具或允许将大文件上载到S3并进行哈希验证的Python库。 有AWS article说明如何通过提供content-md5标头自动完成此操作。 目前还不清楚哪些命令行工具可以或不可以执行此操作： rclone的文档说明 使用分块上载上载的文件没有MD5SUM。 s3cmd对此只字不提，但它支持同步功能的MD5 s4cmd手册中有一整段，但仍不清 ..
发布时间：2022-09-23 21:11:11 其他开发

排除 s3cmd 同步的文件夹

我正在使用 s3cmd，我想知道如何排除存储桶中的所有文件夹并同步存储桶根目录. 例如 桶文件夹/二/文件夹/两个/file.jpg获取.jpg 通过同步，我只希望它同步 get.jpg 并忽略文件夹及其内容. s3cmd --config sync s3://s3bucket(仅同步根)本地/ 如果有人可以提供帮助，那就太棒了，我已经尝试过 --exclude 但不确定如何在这种情 ..
发布时间：2022-01-22 20:34:13 其他开发

如何删除或清除 S3 上的旧文件?

是否存在删除任何超过 x 天的文件的现有解决方案? 解决方案 亚马逊推出了 对象过期 最近. Amazon S3 宣布对象过期 Amazon S3 宣布了一个新的功能，对象过期，允许您安排删除您的对象在预定义的时间段后.使用对象过期安排定期清除对象消除了对您的需要识别要删除的对象并向亚马逊提交删除请求S3. 您可以为一组对象定义对象过期规则你的桶.每个对象过期规则允许您指 ..
发布时间：2022-01-13 09:22:54 其他开发

s3cmd、boto 和 AWS CLI 之间的区别

我正在考虑将我的静态网站重新部署到 Amazon S3.我需要自动化部署，所以我正在寻找用于此类任务的 API.我对不同的选项有点困惑. 问题:s3cmd、Python 库 boto 和 AWS CLI 之间有什么区别? 解决方案 s3cmd 和 AWS CLI 都是命令行工具.如果您想通过 shell 脚本(例如 bash)编写部署脚本，它们非常适合. AWS CLI 通过“ ..
发布时间：2021-12-15 20:19:57 其他开发

在 S3 上压缩整个目录

如果我在 S3 上有一个包含约 5000 个小文件的目录，有没有办法轻松压缩整个目录并将生成的 zip 文件留在 S3 上?我需要这样做，而不必自己手动访问每个文件. 谢谢！ 解决方案 不，没有灵丹妙药. (顺便说一句，您必须意识到 S3 中没有“目录"这样的东西.只有带有路径的对象.您可以获得类似目录的列表，但“/"字符不是魔法 - 你可以得到任何你想要的字符的前缀.) ..
发布时间：2021-12-15 20:19:50 其他开发

S3 在不同帐户的存储桶之间移动文件?

我正在为拥有 2 个独立 AWS 账户的客户做一些工作.我们需要将其 S3 帐户之一上的存储桶中的所有文件移动到第二个帐户的新存储桶中. 我们认为 s3cmd 会允许这样做，使用以下格式: s3cmd cp s3://bucket1 s3://bucket2 --recursive 但是这只允许我使用一个帐户的密钥，而我不能指定第二个帐户的帐户. 有没有办法在不下载文件并将它们再次 ..
发布时间：2021-12-15 20:11:26 其他开发

如何在 AWS S3 中添加缓存控制?

我已通过 s3cmd 命令将 20000 个文件移动到 AWS S3.现在我想为所有图像(.jpg)添加缓存控制 这些文件位于 ( s3://bucket-name/images/).如何通过 s3cmd 为所有图像添加缓存控制，或者还有其他方法可以添加标题吗? 谢谢 解决方案 请尝试当前的上游 master 分支(https://github.com/s3tools/s3cm ..
发布时间：2021-12-06 12:15:20 其他开发

为大于 5GB 的文件计算 Amazon-S3 Etag 的算法是什么?

上传到 Amazon S3 的小于 5GB 的文件有一个 ETag，它只是文件的 MD5 哈希值，这样可以轻松检查您的本地文件是否与您放在 S3 上的相同. 但是如果您的文件大于 5GB，那么亚马逊会以不同的方式计算 ETag. 例如，我将一个 5,970,150,664 字节的文件分成 380 个部分进行了分段上传.现在 S3 显示它具有 6bcf86bed8807b8e78f0fc ..
发布时间：2021-11-27 10:45:10 其他开发

有没有办法在使用 s3cmd 时停止/恢复从 AWS S3 下载文件?

我正在使用 s3cmd 从 S3 下载一个巨大的文件(大约 20 GB)，我希望现在暂停下载，明天再继续. 我已经阅读了 --continue 标志，但我不知道它的用法.例如，下载是否应该以特定方式结束，以便 --continue 标志能够在以后恢复它?或者 --continue 标志是否能够继续下载，无论进程如何停止，无论是键盘中断、意外关闭还是网络错误. 谁能举个例子? 预期 ..
发布时间：2021-10-27 19:04:12 其他开发

寻找某个日期的s3cmd下载命令

我试图弄清楚s3cmd命令将按日期从存储桶中下载文件的原因，例如，我有一个名为"test"的存储桶，并且在该存储桶中有不同日期的不同文件.我正在尝试获取昨天上传的文件.该命令是什么? 解决方案 没有单个命令允许您执行此操作.您必须编写一个类似这样的脚本.或使用允许您执行此操作的SDK.下面的脚本是一个示例脚本，将从最近30天获取S3文件. #！/bin/bash#用法:./getOld“ ..
发布时间：2021-04-03 19:28:59 其他开发

如何更改S3存储桶中对象的存储类?

我需要使用s3cmd将s3对象的存储类从STANDARD类更改为STANDARD_IA.有人可以帮我做这个任务吗?预先感谢. 解决方案 使用s3cmd: s3cmd cp s3://存储桶/密钥s3://存储桶/密钥--storage-class = STANDARD_IA 使用AWS CLI: aws s3 cp s3://BUCKET/KEY s3://BUCKET/KEY ..
发布时间：2021-04-03 19:27:51 其他开发

s4cmd的问题

我有大约50GB的数据要上传到S3存储桶，但是s3cmd并不可靠且非常慢.由于超时错误，同步似乎无法正常工作. 我切换到了 s4cmd ，它运行良好，多线程且运行速度很快. s4cmd dsync -r -t 1000 --ignore-empty-source forms/ s3://bucket/J/M/ 上面的代码上传了一组文件，然后抛出错误- [线程失败]无法从以 ..
发布时间：2020-07-06 04:58:18 其他开发

我可以使用s3cmd mv命令将对象移至S3存储桶中的“文件夹"吗?

我为Linux安装了s3cmd命令行工具.将文件放入存储桶效果很好.但是，我想将文件移到“文件夹"中.我知道S3本身不支持文件夹，但是我的Cyber​​duck GUI工具将它们很好地转换为我可以查看备份. 例如，我在存储桶的根目录中有一个名为"test.mov"的文件，我想将其移至"idea"文件夹.我正在尝试: s3cmd mv s3://mybucket/test.mov s3: ..
发布时间：2020-07-06 04:57:16 其他开发

除了s3cmd之外，是否自动同步两个Amazon S3存储桶?

除了使用s3cmd之外，还有另一种自动同步两个Amazon S3存储桶的方法吗?也许亚马逊可以选择吗?环境是linux，每天我都想同步新&删除的文件到另一个存储桶.我讨厌把所有鸡蛋都放在一个篮子里的想法. 解决方案 您可以使用标准的Amazon CLI进行同步. 您只需要执行以下操作即可: aws s3 sync s3://bucket1/folder1 s3://bucket2/f ..
发布时间：2020-07-06 04:57:11 服务器开发

s3cmd，boto和AWS CLI之间的区别

我正在考虑将静态网站重新部署到Amazon S3.我需要自动化部署，因此我正在寻找用于此类任务的API.我对不同的选择感到困惑. 问题:s3cmd，Python库boto和AWS CLI有什么区别? 解决方案 s3cmd 和 AWS CLI通过"s3"命令为您提供了简单的文件复制功能，这足以将静态网站部署到S3存储桶.它还具有一些小的优点，例如，如果您是从那里安装的，则预装在Amaz ..
发布时间：2020-07-06 04:56:05 其他开发