定期将大数据 (json) 导入 Firebase
我们必须定期更新 firebase 中的大量数据(大约 5 个 Mio 记录).目前我们有一些大小约为 1 GB 的 json 文件. 作为现有的第三方解决方案(此处 和 此处)存在一些可靠性问题(每个对象导入对象；或需要打开连接)并且与谷歌云平台完全断开连接生态系统.我想知道现在是否有“官方"使用方式，即新的 google 云功能?或者与应用引擎/谷歌云存储/谷歌云数据存储的组合.
..
google-cloud-datastore相关内容
如何最好地处理存储在 Google BigQuery 中不同位置的数据?
我目前在 BigQuery 中的工作流程如下: (1) 查询公共存储库中的数据(存储在美国)，(2) 将其写入我存储库中的表中，(3) 将 csv 导出到云存储桶中，以及 (4) 将 csv 下载到我在服务器上工作并且 (5) 在服务器上使用它. 我现在的问题是我工作的服务器位于欧盟.因此，我必须支付相当多的费用才能在我的美国存储桶和我的欧盟服务器之间传输数据.我现在可以继续在欧盟找到
..
如何在使用 MapReduce API 映射到云存储之前过滤数据存储数据?
关于代码实验室 here，我们如何在 mapreduce 作业中过滤数据存储数据，而不是获取特定实体类型的所有对象? 在下面的映射器管道定义中，唯一的一个输入读取器参数是要处理的实体类型，我在 InputReader 类中看不到其他类型过滤器的参数可以提供帮助. output = yield mapreduce_pipeline.MapperPipeline(“数据存储映射器 %s"% e
..
如何获取数据存储中表中的行数?
在许多情况下，使用 Google 应用程序引擎了解数据存储区中表(一种)中的行数可能很有用. 没有明确快速的解决方案.至少我没有找到..你找到了吗? 解决方案 您可以使用 数据存储统计.简单例子: 来自 google.appengine.ext.db 导入统计信息kind_stats = stats.KindStat().all().filter("kind_name =", "Nam
..
GAE java.lang.IllegalStateException:必须首先调用 set*BlobStorage() 之一
我正在尝试使用 Blobstore API 在 GAE 中上传文件.在本地运行 GAE 服务器(开发模式)时出现以下异常: 警告:/_ah/upload/ag10cmlwc2NoZWR1bGVychsLEhVfX0Jsb2JVcGxvYWRTZXNzaW9uX18YFQwjava.lang.IllegalStateException:必须首先调用 set*BlobStorage() 之一.在 c
..
初始化本地数据存储异常:没有为此线程注册 API 环境
我想使用一些数据初始化我的本地数据存储常规 Java 程序(我不想启动开发服务器并调用服务/servlet)，我收到以下异常 例外: 线程“main"中的异常 java.lang.NullPointerException: 没有为此线程注册 API 环境.在 com.google.appengine.api.datastore.DatastoreApiHelper.getCurrent
..
Google Web Toolkit (GWT) + Google App Engine (GAE) + 分离数据持久性
我想使用 GWT 和 GAE 开发一个需要数据持久性的网络应用程序.据我了解，我唯一(或至少迄今为止最方便)的数据持久性选项是 GAE 的数据存储，使用 JDO 或 JPA 注释对象.我还希望能够使用 GWT 远程过程调用 (RPC) 在客户端-服务器之间来回发送我的对象，因此我的对象必须能够“分离".但是，GWT RPC 序列化无法处理分离的 JDO/JPA 对象，而且在不久的将来似乎不会.
..
如何使用 API/命令行启用 Cloud Firestore 本机模式?
我正在编写一个用于设置 Google Cloud 项目的脚本，我想使用 Firestore.但是，新项目默认处于数据存储模式. 使用云控制台中的网络界面可以轻松地切换到 Firestore，但我想将其自动化.是否有任何 API 或命令行工具(gcloud?firebase?)来启用它? 解决方案 遗憾的是，截至今天(2019 年 4 月 30 日)，还没有 API 或命令行来设置 C
..
Beta Firebase Firestore 不适用于使用应用引擎的项目
当我尝试将测试版 Firestore 添加到我的 Google 云平台项目时，我收到以下消息. 无法为此项目启用 Firestore 目前无法在已经使用 Cloud Datastore 或 App Engine 的项目中启用 Firestore 这会永远持续下去吗? 我想我想用 firestore 替换一些但不是全部的数据存储内容以获得实时更新. 也许 firestore 在
..
将实体导入本地 GCP 数据存储模拟器
使用此命令，我能够轻松地将实体导出到存储桶中: gcloud datastore export --kinds="KIND1,KIND2" --namespaces="NAMESPACE1,NAMESPACE2" gs://${BUCKET} 并且根据文档导入可以这样做: gcloud datastore import gs://${BUCKET}/[PATH]/[FILE].overall
..
如何使用 Javascript ajax 调用在 DialogFlow v2 上进行 http 调用
我在使用 Node.js 的 DialogFlow 官方网站上找到了这个示例，它运行良好，但我不知道如何将其集成到我的 Web 应用程序中. 是否可以将其集成到我的其他 javascript jquery 代码中?在这里我需要运行 node index.js 但如果我与我的代码集成，我还需要这样做吗? const projectId = 'xxx';//https://dialogflow
..
Google Cloud Functions 环境变量
是否可以为 GCF 设置环境变量，以便所有功能都可以看到所有设置?或者也许有一些选项可以在项目范围内配置它? 我只需要一种机制来参数化所有环境，例如本地开发、开发、阶段、功能的生产.现在我正在尝试设置本地数据存储模拟器并设置本地开发/调试/测试工作流程，而无需在代码中编写 if 语句.我发现这些东西可以通过 env 进行配置.veriables，但我不知道它如何在云中的目标平台上工作.
..
有 JDO 问题的 GWT
我刚开始使用 GWT 我真的很难让 GWT + JAVA + JDO + Google AppEngine 与 DataStore 一起工作.我试图遵循不同的教程，但没有运气.例如，我转到这些教程:TUT1 TUT2 我无法弄清楚我需要做什么和做什么才能完成这项工作.请查看我的简单代码并告诉我我需要做什么才能将其持久化到数据存储区: 1.地址实体 package com.exampl
..
寻找关于在 GAE-J 中使用 Objectify-appengine 而不是 JDO 的意见
我在 GAE 中的数据存储/JDO 学习曲线上一直在缓慢而有点痛苦地工作.最近我发现了一个名为 Objectify 的框架，它应该介于非常简单的 Datastore 本机 API 和复杂的 JDO.我一直在阅读它，它看起来确实很有吸引力. 我想知道的是，如果有人对Objectify有很多经验......它有多成熟?有很多用户社区吗?准备好迎接繁重的黄金时段了吗?可以放弃吗? 这里或网络
..
如何创建 GAE 数据存储的本地副本?
我想制作客户端版本的 GAE 应用程序来存储在线版本的准确数据.(myapp.appspot.com) 如果我可以使用 sdk，是否有任何库或工具可以在线同步 sdk 版本?我尝试使用bulkloader，但无法将下载的数据加载到本地SDK?请帮忙. 解决方案 请参阅 文档 了解有关如何下载和上传整个数据存储的详细信息.只需从生产中批量下载，然后批量上传到您的本地数据存储. 但是请记
..
Google Cloud Bigtable 与 Google Cloud Datastore
Google Cloud Bigtable 之间有什么区别和 Google Cloud Datastore/App Engine 数据存储区，主要的实际优势/劣势是什么?AFAIK Cloud Datastore 建立在 Bigtable 之上. 解决方案 基于使用 Datastore 和阅读 Bigtable 的经验 docs，主要区别是: Bigtable 最初是为与 HBase
..
如何将缩略图(blob)与实体同时上传到谷歌应用引擎中的数据存储区?
我今天刚开始使用谷歌应用引擎，我已经爱上了端点.我很容易地做了一个，将一个对象存储在只有几个字符串值的数据存储中.但我还想要一个小缩略图图像与该数据存储实体一起使用.我了解如何使用 HttpServlet 从 android 上传 blob.我正在考虑使用数据存储实体的 id 作为 blobstore 中的图像名称，但我不知道如何连接这两个事件，因为我会将实体上传到数据存储，然后在该请求之后上传
..
数据存储:针对事务内实体组的多次写入超出了写入限制?
我熟悉 Datastore 对实体组的每秒单次写入限制(好吧，也许是 5 次).这与交易有什么关系? 文档似乎表明我可以在事务中进行多次修改 - 例如添加几个后代实体: 单个事务可以修改单个组中的多个实体，或通过将新实体的父实体添加到组中组中的现有实体. https://cloud.google.com/appengine/docs/java/数据存储/交易 解决方案 是
..
App Engine:很少有大脚本还是有很多小脚本?
我正在处理一个我想在 App Engine 上托管的网站.我的 App Engine 脚本是用 Python 编写的.现在假设您可以在我的网站上注册并拥有用户资料.现在，用户配置文件非常广泛，有 50 多个不同的 ndb 属性(仅举个例子). 如果用户想要编辑他的记录(他可以在某种程度上这样做)，他可以通过我的网站向应用引擎后端发送请求. 配置文件是部分的方式，通常大约 5 到 10
..
使用多个 GAE 应用程序版本来让多个应用程序共享同一个数据存储有任何问题吗?
根据我所做的研究(参见例如 这个 gae 问题 和 这个堆栈溢出问题)，不可能在两个应用程序之间共享一个数据存储，大多数人建议使用 RemoteAPI 或使用同一应用程序的多个“版本"，其中每个版本实际上是一个完全不同的应用程序.根据 GoogleAppEngine Issue 1300，允许多个 GAE 应用程序共享相同的数据存储已被“接受"，这大概意味着该功能可能有一天会得到正式支持.
..