bucket相关内容

Google Cloud Storage JSON REST API-获取保存在子目录中的对象

我要访问我存储在Google Cloud Storage中的对象-如果根据文档使用以下调用将该对象存储在存储桶的最高级别,这将非常简单: https://storage.googleapis.com/storage/v1/b/bucketname/o/objectname?alt = media 但是,如果文件保存在存储桶的子目录中,则无法访问它.在此文档中似乎没有任何指导.我尝试了以 ..
发布时间:2021-05-10 19:22:28 其他开发

Google云端存储和Stackdriver Logging:如何使用"gcloud"读取存储桶日志?

我正在尝试通过 gcloud 命令行程序读取Google Cloud Storage项目中存储桶的服务器端日志(以解决使用存储客户端时遇到的错误).在 Stackdriver Logging UI 中似乎没有可用的日志. > 因此,第一个问题:这些日志是否完全可用?如果是这样,我该如何访问它们? 看起来 好像应该可以通过 gcloud 来实现: Mortens-MacBook-Pro ..

通过存储桶键值过滤Elasticsearch聚合

我有一个文档的Elasticsearch索引,其中有一个包含URL列表的字段.像预期的那样,在该字段上进行汇总可以使我获得唯一URL的数量. GET模型*/_ search{“询问": {"match_all":{}},“大小":0,"aggs":{“链接":{“条款":{"field":"links.keyword",“大小":10}}}} 然后,我想过滤掉其键不包含特定字符串的存储桶. ..
发布时间:2021-05-03 20:27:07 其他开发

Spark中的分区和存储分区有什么区别?

我尝试优化两个Spark数据帧之间的联接查询,我们将它们称为df1,df2(在公共列"SaleId"上联接).df1非常小(5M),因此我在Spark集群的节点之间广播了它.df2非常大(200M行),因此我尝试通过"SaleId"对其进行存储/重新分区. 在Spark中,按列划分数据和按列存储数据有什么区别? 例如: 分区: df2 = df2.repartition(10 ..
发布时间:2021-04-08 19:53:22 Python

AWS:使用“生命周期规则"在30天之内永久删除S3对象

是否有一种方法可以在S3生命周期上进行配置以删除少于30天的对象(例如我想在5天之内永久删除而不转移到冰川等任何其他存储类?还是我应该选择其他替代品,例如Lambda? 我相信,S3“生命周期规则"仅允许存储类超过30天. 解决方案 您可以使用 关于存储类别.您仍然可以删除对象,但需要支付30天,90天或180天的费用, ..
发布时间:2021-04-03 19:30:51 其他开发

Amazon S3存储桶策略引荐来源

我正在尝试编辑S3存储桶配置,以使第3方网站无法链接到其中的内容.另外一个好处是,他们只能访问我域中的内容,而不能访问补充的s3bucket.amazon-east.amazonaws.com或类似的内容. 文档中有一个专门用于此目的的示例,但是当我为下面的网站复制/粘贴/修改时,它不起作用吗?我仍然收到403错误.当我只取出条件部分时,它允许完全访问,因此引荐部分只有一个问题. 这是 ..
发布时间:2021-04-03 19:20:46 其他开发

将图像上传到存储桶

如何使用angular4将图像上传到Google云端点上的存储桶.我不想使用nodejs,因为我不想在我的角度项目中使用require.或者在angular4中有使用require的替代方法,例如使用import代替require 解决方案 使用Firebase SDK,它使用的是您创建的GCP项目的Google存储空间(因此您无需注册新服务) https://firebase.go ..
发布时间:2020-11-18 22:57:10 其他开发

文件夹未显示在存储桶存储中

所以我的问题是a挂载时有几个文件没有显示在gcsfuse中.我可以在在线控制台中看到它们,如果我使用gsutils也可以看到它们. 另外,如果我在存储桶中手动创建文件夹,则可以看到其中的文件,但是我需要先创建它.有什么建议? gs://mybucket/ dir1/ ok.txt dir2 lafu.txt 如果我使用gcsfuse挂载mybucket并执行"ls",则仅返回dir1/ ..
发布时间:2020-11-18 22:36:15 其他开发

将数据直接下载到Google云存储

我想直接从 python应用程序/命令(例如:youtube-dl或从第三方网址下载的任何其他库)下载数据到谷歌云存储(桶). 我已使用 gsutil 流命令直接将数据从流程流传输到gcs,但它仅将控制台输出保存到存储桶 我也不想挂载存储,因为我想与分布式系统共享该存储 有什么方法可以下载而不先下载文件系统,然后再将其复制到Google云端存储? 谢谢 解决方案 您 ..
发布时间:2020-11-18 21:04:18 Python

Cassandra桶拆分,用于分区大小

我对Cassandra还是很陌生,我只是通过Datastax课程学习它的,但是我在这里或Internet上没有关于存储桶的足够信息,而在我的应用程序中,我需要使用存储桶来拆分数据。 我有一些仪器可以进行很多测量,并且每天拆分测量(以时间戳作为分区键)可能有点冒险,因为我们很容易达到100MB的上限用于分区。每个度量值都涉及一个用ID标识的特定对象。所以我想用一个水桶,但我不知道该怎么办。 ..
发布时间:2020-09-29 19:38:05 其他开发

Python Boto3 S3存储桶加密结果为0字节文件

这里需要一些帮助. 我有一个使用Boto3的Python脚本,该脚本执行S3存储桶加密.在此之前,它运行良好,最近我注意到当我使用脚本时,它将导致对象变为0字节. 如果我要通过控制台手动对其进行加密,那么它就可以正常工作. 有人遇到类似的问题,您愿意分享任何解决方法吗?至少要恢复回来的文件.我在这里一无所知. 我进行了快速故障排除,发现执行以下行时,它将文件更改为0字节. ..
发布时间:2020-08-23 08:12:40 其他开发