如何将堆栈驱动程序日志导入BigQuery [英] How to import Stackdriver logs into BigQuery

问题描述

有没有办法将日志从应用引擎加载到Google Cloud平台上的BigQuery？

我正在尝试使用联合查询来加载云存储中的StackDrive日志文件。但是，BigQuery无法加载StackDriver编写的某些字段名。

日志文件是换行符分隔的JSON，其记录看起来像

{  
   "insertId":"j594356785jpk",
   "labels":{  
      "appengine.googleapis.com/instance_name":"aef-my-instance-20180204t220251-x59f",
      "compute.googleapis.com/resource_id":"99999999999999999",
      "compute.googleapis.com/resource_name":"c3453465db",
      "compute.googleapis.com/zone":"us-central1-f"
   },
   "logName":"projects/my-project/logs/appengine.googleapis.com%2Fstdout",
   "receiveTimestamp":"2018-02-08T02:59:59.972739505Z",
   "resource":{  
      "labels":{  
         "module_id":"my-instance",
         "project_id":"my-project",
         "version_id":"20180204t220251"
      },
      "type":"gae_app"
   },
   "textPayload":"{"json":"blob"}
",
   "timestamp":"2018-02-08T02:59:54Z"
}

但BigQuery在此输入上返回错误：query: Invalid field name "compute.googleapis.com/zone". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, and be at most 128 characters long.

有没有办法将这种日志注入BigQuery？

我对仅提取textPayload字段特别感兴趣。

推荐答案

您可以将堆栈驱动日志导出到BigQuery

在Google Cloud Platform控制台中，StackDrive日志记录>导出>创建导出。 创建筛选器resource.type="gae_app"并填写右侧的接收器名称，选择BigQuery作为接收器服务，然后从接收器目标选择要导出到的数据集。https://console.cloud.google.com/logs/exports

引用：https://cloud.google.com/logging/docs/export/configure_export_v2#dest-create

这篇关于如何将堆栈驱动程序日志导入BigQuery的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！