gsutil相关内容

在Windows上安装gsutil

我对python比较陌生,所以如果这是一个愚蠢的问题,我深表歉意. 我无法在Windows上安装gsutil 我正在按照这里的指示 https://developers.google.com/storage/docs/gsutil_install#specifications 我必须安装python 2.7并在C:\ gsutil \ gsutil中解压缩gsutil ..
发布时间:2020-11-18 22:50:33 Python

Google云端存储:如何使用gsutil获取存储桶/文件夹中的新文件列表

我有一个存储桶/文件夹,每分钟都有很多文件进入该存储桶/文件夹. 如何根据文件时间戳读取新文件. 例如:列出所有带有时间戳> my_timestamp 的文件 解决方案 这不是gsutil或GCS API提供的功能,因为无法通过时间戳列出对象. 相反,您可以使用 GCS Cloud Pub/Sub a>功能. ..
发布时间:2020-11-18 22:39:18 其他开发

gsutil/gcloud存储文件列表排序日期降序?

是否无法从按日期降序排序的Google Cloud Storage存储桶中列出文件?这非常令人沮丧.我需要检查上传文件的状态,并且存储桶中有成千上万个对象. gsutil ls没有标准的Linux -t选项. Google云控制台也会列出它,但不提供排序选项. 解决方案 我将其用作解决方法: gsutil ls -l gs://[bucket-name]/ | sort ..
发布时间:2020-11-18 22:38:58 其他开发

Google云存储-从网络下载文件

我想在下一个项目中使用Google云存储. 我的目的是跟踪各种网站并收集一些照片.作为,我阅读了gsutil的文档;我可以将文件手动下载到我的服务器,然后使用gsutil将其上传到Google云存储中. 下载和上传文件会在我的服务器中产生大量流量. 有没有办法让Google Cloud直接从http下载文件? 解决方案 主要答案 使用Google Cloud Shell非常容易 ..
发布时间:2020-11-18 22:36:40 其他开发

如何将gsutil用于多个帐户?

我经常使用至少两个帐户使用Google Cloud Storage:personal@gmail.com和work@corp.com.我使用gsutil config为两个帐户创建了.boto文件,我将其重命名为personal.boto和work.boto. 每当我需要在这些帐户之间切换时,都必须记住键入cp personal.boto ~/.boto,这很烦人.有更好的方法吗? 解 ..
发布时间:2020-11-18 22:36:11 其他开发

我无法将大文件(大于2GB)上传到Google Cloud Storage网络用户界面

我一直在 Google API控制台上使用Google Cloud Storage Manager链接以便上传我的文件. 这适用于大多数文件:1KB,10KB,1MB,10MB,100MB.但是昨天我无法上传3GB的文件.知道有什么问题吗? 将大文件上传到Google Cloud Storage的最佳方法是什么? 解决方案 Web UI仅支持小于2 ^ 32字节(4 GB)的上 ..
发布时间:2020-11-18 22:31:55 其他开发

gsutil返回“未找到匹配项"

我正在尝试使用gsutil删除Cloud Storage存储桶(而不是存储桶本身)的内容.根据文档,命令应为: gsutil rm gs://bucket/** 但是,每当我运行它(当然用我的存储桶名称替换)时,都会收到以下响应: zsh: no matches found: gs://my-bucket/** 我已经检查了权限,并且我拥有所有者权限.另外,如果我直接指定文 ..
发布时间:2020-11-18 22:29:13 其他开发

获取Google存储桶大小的最快方法?

我目前正在执行此操作,但是由于存储桶中有几个TB的数据,所以速度非常慢: gsutil du -sh gs://my-bucket-1/ 与子文件夹相同: gsutil du -sh gs://my-bucket-1/folder 是否有可能以其他方式或更快的方式获得完整存储桶(或子文件夹)的总大小? 解决方案 不幸的是,没有.如果您需要了解当前存储桶的大小,没有比您正 ..
发布时间:2020-11-18 22:26:53 其他开发

在生产转移中使用gsutil或google cloud storage API有什么好处吗?

哪种产品更适合与生产传输,gsutil或Google云存储API配合使用? 解决方案 gsutil使用Google Cloud Storage API传输数据,特别是JSON API(默认情况下,您可以更改).与直接使用API​​相比,它的主要优点是它已经过调整,可以快速传输数据.例如,它可以打开与GCS的多个同时连接,每个连接都同时上传或下载文件的一部分,这在很多情况下可以大大提高总吞吐 ..
发布时间:2020-11-18 22:25:46 其他开发

从存储到运行容器的计算实例的gsutil cp不会复制文件

我正在运行带有coreos容器(图像名称:coreos-stable-1688-4-0-v20180327)的Google计算实例.使用gsutil将文件从Storage复制到本地文件系统似乎可以正常工作-除非实际上没有任何假定复制的文件出现在文件系统上.在不使用容器的情况下在计算实例上运行相同的copy命令确实可以工作,因此我想问题出在容器上.但是,我不确定容器是什么原因导致复制失败. 命 ..

Google Cloud Storage ACL混淆

我是Google Cloud项目的所有者,其中包含Google Cloud Storage存储桶.我们所有的备份都移到了这个存储桶中.当我尝试检索某些备份时,我获得了拒绝的权限.除了列出存储桶,我无能为力. 当我尝试使用 重置存储桶ACL时 gsutil acl ch -u xxx@yyy.zzz:FC gs://abc/** 我得到以下错误. CommandException ..
发布时间:2020-11-18 20:52:56 其他开发

AccessDeniedException:尝试使用gsutil将文件从VM复制到Google Storage时为403

我正在尝试手动执行该过程所需的步骤,以使过程自动化,以了解其工作原理并确保我直接获得所有命令.但是,当我尝试使用以下命令进行操作时: gsutil cp file_name gs://bucket_name/ 我收到以下错误: AccessDeniedException: 403 Insufficient OAuth2 scope to perform this operatio ..
发布时间:2020-11-18 20:42:22 其他开发

Google GSutil创建文件夹

如何使用gsutil命令在Google云存储的存储桶中创建新文件夹? 我尝试在创建存储桶时使用相同的命令,但仍然出现错误 gsutil mb -l us-east1 gs://my-awesome-bucket/new_folder/ 谢谢! 解决方案 目录的概念在Google Cloud Storage中是抽象的.从文档(子目录如何工作): gsutil在Googl ..
发布时间:2020-11-18 20:18:56 其他开发