gcsfuse相关内容

FTP 到 Google 存储

有些文件每天都会上传到 FTP 服务器,我需要 Google Cloud Storage 下的这些文件.我不想让上传文件的用户安装任何其他软件而让他们继续使用他们的 FTP 客户端.有没有办法将 GCS 用作 FTP 服务器?如果没有,我如何创建一个定期从 FTP 位置获取文件并将它们放入 GCS 的作业?换句话说:最好和最简单的方法是什么? 解决方案 我已经在 Google Comput ..

云功能将所有文件从存储桶复制到同一 GCS 存储桶内的文件夹

我在 Google Cloud Storage 存储桶中有文件,我想从存储桶中复制收到的所有文件,并在同一个存储桶的文件夹中创建所有这些文件的副本.(我找到了复制到存储桶的解决方案,但如何复制到存储桶内的文件夹?) destination = storage_client.bucket('source-bucket-name') #here my source &目标桶相同 有没有办法 ..

gcsfuse输入/输出错误

尝试在安装在linux(Ubuntu 15.10)目录上的Google云存储桶中创建目录或文件时,出现输入/输出错误. 我已经完成的步骤: 创建了一个名为transfer的用户 创建一个/mnt/backups 目录并运行 chown -R transfer/mnt/backups 作为用户转移,运行 gcsfuse --implicit-dir backup01-bucket/m ..
发布时间:2021-05-29 22:44:44 服务器开发

文件夹未显示在存储桶存储中

所以我的问题是a挂载时有几个文件没有显示在gcsfuse中.我可以在在线控制台中看到它们,如果我使用gsutils也可以看到它们. 另外,如果我在存储桶中手动创建文件夹,则可以看到其中的文件,但是我需要先创建它.有什么建议? gs://mybucket/ dir1/ ok.txt dir2 lafu.txt 如果我使用gcsfuse挂载mybucket并执行"ls",则仅返回dir1/ ..
发布时间:2020-11-18 22:36:15 其他开发

在Google App Engine上运行gcsfuse时出现问题

我正在尝试在App Engine Flexible上运行Airflow Webserver,但是要使其正常工作,我需要安装一个GCS存储桶.我正在使用自定义运行时. 我这样做的原因是为了获得App Engine与IAP一起提供的安全端点. 我的app.yaml是一个简单的文件,带有服务名称,环境和运行时 我的Dockerfile有很多apt-get install,在CMD中有gcsfuse ..

通过FTP传输到Google存储空间

有些文件每天都会上传到FTP服务器,我需要Google Cloud Storage下的那些文件.我不想惹麻烦上传文件的用户来安装任何其他软件,而只是让他们继续使用其FTP客户端. 有没有办法将GCS用作FTP服务器?如果没有,如何创建一个定期从FTP位置提取文件并将其放入GCS的作业? 换句话说:什么是最好和最简单的方法? 解决方案 我已经在Google Compute的VM中使用gcsf ..

在云数据流期间读取视频,使用GCSfuse,本地下载或编写新的Beam阅读器?

我正在构建一个python云视频管道,该管道将从桶中读取视频,执行一些计算机视觉分析并将帧返回到桶中.据我所知,没有Beam读取方法可以将GCS路径传递给opencv,类似于TextIO.read().我向前迈进的选择似乎是在本地下载文件(它们很大),使用GCS保险丝安装在本地工作程序上(可能吗?)或编写自定义的源方法.任何人都有最有意义的经验吗? 我的主要困惑是这里的问题 可以谷歌云 ..
发布时间:2020-05-20 21:27:50 其他开发

写入挂载的文件系统时出现OSError输入/输出错误

我创建了Google Cloud Storage Bucket,并使用以下方式将其安装到我的VM: gcsfuse my-bucket /path/to/mount/point 当我键入df -H时,其列为已挂载的文件系统. 我有以下问题: 如果我使用GCP Web控制台将文件上传到存储桶,则可以从VM中看到文件.但是,如果我尝试创建从VM到已挂载的文件系统mkdir /path/to ..
发布时间:2020-05-12 18:53:40 其他开发