BigQuery - 在哪里可以找到错误流? [英] BigQuery - Where can I find the error stream?

问题描述

我已将一个包含 300K 行的 CSV 文件从 GCS 上传到 BigQuery，并收到以下错误:

在哪里可以找到错误流?

我已将创建表配置更改为允许 4000 错误并且它起作用了，因此消息中的 3894 行肯定有问题，但是此错误消息并没有告诉我关于哪些行或原因的太多信息.

谢谢

解决方案

我终于通过在终端中运行以下命令来查看错误流:

bq --format=prettyjson show -j 

它返回一个包含更多细节的 JSON.就我而言，它是:

"message": "读取数据时出错，错误消息:无法将 '16.666666666666667' 解析为从位置 1717164 开始的字段 Course_Percentage(位置 46)的 int"

I have uploaded a CSV file with 300K rows from GCS to BigQuery, and received the following error:

Where can I find the error stream?

I've changed the create table configuration to allow 4000 errors and it worked, so it must be a problem with the 3894 rows in the message, but this error message does not tell me much about which rows or why.

Thanks

解决方案

I'm finally managed to see the error stream by running the following command in the terminal:

bq --format=prettyjson show -j <JobID>

It returns a JSON with more details. In my case it was:

"message": "Error while reading data, error message: Could not parse '16.66666666666667' as int for field Course_Percentage (position 46) starting at location 1717164"

这篇关于BigQuery - 在哪里可以找到错误流?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！