如何使用Google Cloud PubSub和Run来处理资源密集型的长时间运行任务？
我有一个Google Cloud PubSub主题，它有时会有数千条消息，有时却是零条消息。这些消息表示每条消息可能需要一个小时以上的任务。我最好使用Cloud Run，因为它可以很好地根据需求进行扩展，如果发布了一千条消息，我希望启动100个Cloud Run实例。这些运行实例由推送订阅启动。问题是，PubSub有600秒的超时时间来确认。这意味着为了让Cloud Run处理这些消息，他们必须在
..
google-cloud-python相关内容
Google Cloud Storage:如何在 Python 中(递归)删除文件夹
我正在尝试使用其 Python 库删除 GCS 中的一个文件夹及其所有内容(包括子目录).另外我知道 GCS 并没有真正的文件夹(但前缀?)，但我想知道我该怎么做? 我测试了这段代码: 从 google.cloud 导入存储def delete_blob(bucket_name，blob_name):"""从桶中删除一个 blob."""storage_client = storage.C
..
Google Cloud Storage + Python:有什么方法可以在 GCS 的某个文件夹中列出 obj?
我要编写一个 Python 程序来检查文件是否在我的 Google Cloud Storage 的某个文件夹中，基本思想是获取文件夹中所有对象的 list，a文件名list，然后检查文件abc.txt是否在文件名list中. 现在的问题是，看起来谷歌只提供了一种获取obj list的方法，即uri.get_bucket()，请参阅以下代码，该代码来自 https://developers.g
..
使用 gcloud-python 在 Google Cloud Storage 中设置元数据
我正在尝试使用 gcloud-python 将文件上传到 Google Cloud Storage 并设置一些自定义元数据属性.为了尝试这个，我创建了一个简单的脚本. 导入操作系统从 gcloud 导入存储client = storage.Client('超级机密应用 id')bucket = client.get_bucket('超级秘密桶名')blob = bucket.get_blob('
..
高效地将 Pandas 数据帧写入 Google BigQuery
我正在尝试使用 pandas.DataFrame.to_gbq() 记录的函数将 pandas.DataFrame 上传到 Google Big Query/pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_gbq.html#pandas-dataframe-to-gbq" rel="nofollow norefe
..
google cloud python sdk 安装错误 - SSL 认证错误
尝试在 Windows 10 上为所有用户安装 Google Cloud SDK(Python).得到以下错误. 这是新机器，开始重新构建.在此之前安装了 python 2.7 版本. 请帮我解决这个问题. 输出文件夹:C:\Program Files (x86)\Google\Cloud SDK Downloading谷歌云 SDK 核心.提取 Google Cloud SDK
..
在 GAE 中使用 gcloud-python
我有一堆运行一些 python 代码的小 Raspberry Pi，这些代码使用 gcloud-python 数据存储包直接保存到数据存储(跳过 GAE).这很好用.我现在想使用 Google App Engine 通过网络和移动客户端显示数据.在我的 MacBook 上，我通过 pip 使用安装程序和 gcloud 安装了 GAE.我可以编写一个简单的 python 脚本并直接从终端执行它，该终
..
如何查询扳手并获取元数据，尤其是列的名称?
我正在尝试在Spanner上查询自定义SQL并将结果转换为Pandas Dataframe，因此我需要数据和列名，但是找不到找到列名的方法. 根据文档，我可以使用元数据获取列或字段属性，但这不起作用. 我尝试运行查询事务并获取快照，但是我只获取了数据行. 从google.cloud导入扳手从google.cloud.spanner_v1.streamed导入StreamedResul
..
Python:如何使用特定用户而不是get_application_default()创建GoogleCredentials
我正在更新脚本以调用受OAuth2保护的Google Cloud端点.以前的版本假定单个用户先前已通过 gcloud auth login 进行了身份验证，因此能够使用默认值: credentials = GoogleCredentials.get_application_default()http =凭据.authorize(http) 但是，现在我必须以用户A的身份进行某些调用，并且以
..
google cloud python sdk安装错误-SSL认证错误
尝试在Windows 10上为所有用户安装Google Cloud SDK(Python).出现以下错误. 这是一台新机器，并开始重新构建.在此之前安装了python 2.7版本. 请帮助我解决此问题. 输出文件夹:C:\ Program Files(x86)\ Google \ Cloud SDK下载 Google Cloud SDK核心.提取Google Cloud SDK核
..
GCE上没有名为"google.cloud._helpers"的模块
在GCE上导入google.cloud.bigquery时出现错误. 它不是在非GCE的环境中发生的. 我用pip执行更新. 你知道为什么吗? user1@sv1:~$ python Python 3.6.0 |Continuum Analytics, Inc.| (default, Dec 23 2016,12:22:00) [GCC 4.4.7 20120313 (Red Hat
..
使用google-cloud-python API访问Dataproc时出现无效区域错误
我正在尝试使用 google-cloud在Dataproc中创建集群-python 库，但是，当设置region = 'us-central1'时，出现以下异常: google.api_core.exceptions.InvalidArgument: 400 Region 'us-central1' is invalid. Please see https://cloud.google.co
..
通过Python中的服务帐户访问Google Cloud Storage的权限
我正在尝试获取一个服务帐户以在Google Cloud Storage中创建Blob 从Python脚本中获取，但是我的凭据有问题. 1)我为我的项目创建服务帐户，然后将密钥文件下载到json中: "home/user/.config/gcloud/service_admin.json" 2)我为服务帐户提供了必要的凭据(通过子进程中的gcloud) roles/viewe
..
Google云端存储:如何在Python中(递归)删除文件夹
我正在尝试使用其Python库删除GCS中的文件夹及其所有内容(包括子目录).我也知道GCS确实没有文件夹(但有前缀吗?)，但是我想知道如何做到这一点? 我测试了这段代码: from google.cloud import storage def delete_blob(bucket_name, blob_name): """Deletes a blob from the b
..
使用gcloud-python在Google Cloud Storage中设置元数据
我正在尝试使用 gcloud-python 将文件上传到Google Cloud Storage，并进行一些设置自定义元数据属性.为此，我创建了一个简单的脚本. import os from gcloud import storage client = storage.Client('super secret app id') bucket = client.get_bucket('su
..
Google Cloud Storage Python list_blob()不打印对象列表
我是Python和Google Cloud Storage新手. 我正在编写一个python脚本，以使用Google Cloud Python客户端库从Google Cloud Storage存储桶中获取文件列表，而Bucket类中的list_blobs()函数无法正常运行. https://googlecloudplatform.github.io/google- cloud-python
..
Google Cloud Storage + Python:是否可以在GCS的某些文件夹中列出obj?
我将编写一个Python程序来检查文件是否在我的Google Cloud Storage的某些文件夹中，基本思想是获取文件夹中所有对象的list，文件名list ，然后检查文件abc.txt是否在文件名list中. 现在的问题是，看来Google只提供一种获取obj list的方法，即uri.get_bucket()，请参见下面的代码，该代码来自uri = boto.storage_uri(
..
使用Python查询GCP Stackdriver日志
我正在使用Python3查询Stackdriver的GCP日志.不幸的是，具有重要数据的日志条目以"NoneType"而不是"dict"或"str"的形式返回给我.结果"entry.payload"的类型为"None"，而"entry.payload_pb"具有我想要的数据，但出现乱码. 是否有一种方法可以让Stackdriver以干净的格式返回此数据，或者有一种我可以解析它的方法? 如果没
..
高效地将Pandas数据框写入Google BigQuery
我正在尝试使用这是我正在使用的脚本: dataframe.to_gbq('my_dataset.my_table', 'my_project_id', chunksize=None, # i've tryed with several chunksizes, it runs faster when is one big c
..
如何使用JSON凭证文件对gcloud大查询进行身份验证?
在 Google bigquery的gcloud文档中，它指出可以从from_service_account_json确定身份验证. 我尝试了以下 from gcloud import bigquery client = bigquery.Client.from_service_account_json('/Library/gcloud_api_credentials.json')
..