如何将多个文件(相同架构)加载到 BigQuery 的表中? [英] How to load multiple files (same schema) into a table in BigQuery?

问题描述

我有一个包含相同架构的 csv 文件文件夹，我想将其加载到 bigquery 表中.

I have a folder of csv files with the same schema that I want to load into a bigquery table.

是否可以选择将文件夹路径作为 BQ 命令的输入以加载到 bigquery 表中?我很想知道是否可以在不迭代文件或在源处合并输入文件的情况下完成.

Is there an option to give folder path as the input to BQ command to load into bigquery table? I'm interested to know if it can be done without iterating over the files or merging the input files at the source.

推荐答案

如果可以选择使用云存储，您可以将它们全部放在存储桶中的公共前缀中并使用通配符，例如gs://my_bucket/some/path/files* 快速指定具有多个输入的单个加载作业.

If using cloud storage is an option, you can put them all in a common prefix in a bucket and use a wildcard e.g. gs://my_bucket/some/path/files* to specify a single load job with multiple inputs quickly.

这篇关于如何将多个文件(相同架构)加载到 BigQuery 的表中?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！