Bulkloader CSV大小错误 [英] Bulkloader CSV size error

问题描述

导入带有大单元格的CSV文件时，Bulkloader引发以下错误：

  [错误]数据源线程出错：字段大于字段限制（131072）
  

这是csv模块的常见问题，可以是修正：

  csv.field_size_limit（sys.maxint）
  

如何让bulkloader执行此操作？解析方案

试试这个：

在bulkloader.yaml中添加：

  python_preamble：
  - 导入：csv_fix 
 ...＃其余的导入
  

在csv_fix中。 py add：

  import csv，sys 
 csv.field_size_limit（sys.maxint）
  

Bulkloader raises the following error when importing a CSV file with large cells:

[ERROR   ] Error in data source thread: field larger than field limit (131072)

This is a common problem for the csv module, which can be fixed with:

csv.field_size_limit(sys.maxint)

How can I make bulkloader execute this?

解决方案

Try this:

In bulkloader.yaml add:

python_preamble:
- import: csv_fix
... # the rest of your imports

In csv_fix.py add:

import csv, sys
csv.field_size_limit(sys.maxint)

这篇关于Bulkloader CSV大小错误的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！