fread error“意外字符结束字段” [英] fread error "unexpected character ending field"
本文介绍了fread error“意外字符结束字段”的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
您能帮我吗？
我想加载大型TSV文件（4 mln行），并使用为'fread'
问题是当到达某一行时所有程序崩溃。
verbose的最后一条消息是将数据行2220004中的第12列从INT64跳转到REAL，字段包含'0.54'
我试图复制只有直到该行与跳过选项 - 它工作正常，但后，当我试图复制最后一行，它立即引起另一个错误：意外字符（Ам）结束第2220005行的字段5
在我尝试禁用标题后，删除第12列，输入列类 - 无效。
任何想法如何解决这个问题？
我的代码：
library（data.table）
movies< - fread（'avito_train.tsv'，verbose = TRUE，nrows = 2220002）
movies2 < - fread（'avito_train.tsv' verbose = TRUE，sep =\t，skip = 2220004，colClasses = c（integer，character，character，character，character，character，integer，integer ，integer，integer，integer，real，numeric））
<
解决方案
对我来说，使用最新版本来自GitHub的 data.table 。 README中的两个最近更改可能解决了这个问题：
fread（）：
*字段。感谢Clayton Stanley的高亮显示：
fread和引用的行列值
*现在在引用的字段中接受尾随的反斜杠。感谢user2970844突出显示：
fread和带有尾随反斜杠的列 a>
这里是输出（在我的慢速上网本4GB RAM，努力，但到那里）：
$ file avito_train.tsv
avito_train.tsv：UTF-8 Unicode文本，带有很长的行
> ; DT = fread（Downloads / avito_train.tsv，verbose = TRUE）
输入不包含\\\
。这是一个文件名打开
文件打开，filesize是2.915 GB
文件被打开并映射ok
检测到的eol为\\\
（以后没有\r），UNIX和Mac标准。
使用第30行检测sep（第一个autostart中的最后一个非空行）... sep ='\t'
找到13列
出现第一行，出现13个字段第1行（列名或第一行数据）
第1行上的所有字段都是字符字段。处理为列名。
第一个数据行后的eol计数：3995804
从最后一个eol和任何尾随空行减去1，留下3995803个数据行
类型代码（前5行）：1444441111113
类型代码（+中间5行）：1444441111113
类型代码（+最后5行）：1444441111113
类型代码：1444441111113（应用colClasses和integer64后）
类型代码：1444441111113或选择（如果提供）
分配13列插槽（删除13 - 0）
从00:10:49中读取3995803行和13（共13个）列中的2.915 GB文件
82.590s （13％）存储器映射（重新运行可能更快）
2.930s（0％）sep和标题检测
68.290s（11％）计数行（wc -l）
0.000s 0％）列类型检测（第一行，中间和最后5行）
3.550s（1％）RAM中的3995803x13结果（xMB）分配
491.590s（76％）读取数据
0.000s（0％）类型颠簸的分配（如果有），包括触发时的gc时间
0.000s（0％）强制数据已经读入类型颠簸（如果有）
0.080s（0％ ）将na.strings更改为NA
649.030s总计
。
$ b
> head（DT）
itemid category subcategory title
1：10000010ТранспортАвтомобилиспробегомToyota Sera，1991
2：10000025УслугиПредложенияуслугМонтажкровли
3：10000094ЛичныевещиОдежда， обувь，аксессуарыКостюмSteilmann
4：10000101ТранспортАвтомобилиспробегом福特福克斯，2011
5：10000132ТранспортЗапчастииаксессуарыТурбина3.0酒吧
6：10000152ТранспортАвтомобилиспробегомВАЗ2115萨马拉市，2005年
description
1：Новаяоригинальнаялинзованаяоптиканаксеноне（ближний，дальний），новыезадниефонари，новые16-едиски，новыяпередняярезина，задниеснебольшимизносом。 ^ pСрочно！ Торг！ ^ pАктуально，покависитобъявление!!!
2：Выполняеммонтажкровлифальцевой^ pТел：8 @@ PHONE @@
3：Юбкаитопизпанбархата。 Подтоптрикотажнаямайка。 Vобразныйвырезспередиисзади。 Наюбкепоподолумягкийволан。 Длинаприблизительнопоколено（+ 3-4см）。 Размер40
4：Автомобильвотличномтехническомсостоянии，всеработает，включается，переключаетсяит.д. Нареканийпоподвеске，коробкеидвигателюнет。 Двакомплектарезинызима/летовотличномсостоянии。 ПродаетсяСРОЧНОвсвязиссмейнымиобстоятельствами！ ВозможенТОРГприосмотревразумныхпределах。
5：ПродамтурбинунадвигательV-6。 V-8имощнее16клапановивыше.....
6：АвтомабильвхорошемсостаяниемНЕГНЕЛАЯборткомпмузыказванитевсюраскажузванитевлюбоевремя8 @@ PHONE @@
attrs
1 ：10 000 - 14 999，Коробкапередач：Конередач：Конередач： ：Автоматическая，Объемдвигателя：1.5，Бензиновый，Марка：丰田，Модель ：Sera，Цвет：Оранжевый，Привод：Передний，Руль：Правый，Состояние Небитый}
2：{Видуслуги：Ремонт，строительство}
3：{Видодежды：Женскаяодежда Предметодежды：Платьяиюбки，Размер：46-48（L）}
4：{Марка：福特 Модель：焦点，Годвыпуска：2011Пробег：80 000 - 84 999Типкузова Седан，ЦветЧёрный，Объёмдвигателя：1.6，Коробкапередач，Механическая，Типдвигателя Бензиновый，Привод：Передний，Руль：Левый，Состояние：Небитый}
5：{ Видтовара：Запчасти，Типтовара：Дляавтомобилей}
6：{Марка Модель：2115 Samara，Годвыпуска：2005Пробег：140 000 - 149 999ТипкузоваСедан Цвет：Синий，Объёмдвигателя：1.5，КоробкапередачМеханическая，Типдвигателя Бензиновый，Привод：Передний，Руль：ЛевыйНебитый}}
价格is_proved is_blocked phones_cnt emails_cnt urls_cnt close_hours
1：150000 NA 0 0 0 0 0.03
2：0 NA 0 1 0 0 22.38
3：1500 NA 0 0 0 0 0.41
4：365000 NA 0 0 0 0 8.87
5：5000 NA 0 0 0 0 11.82
6：0 NA 0 1 0 0 22.55
。
>尾部（DT）
类itemid的标题子类别
1：99999929ДлядомаидачиРемонтистроительствоАлюминиевыераздвижкипрофильпроведал
2：99999962ТранспортЗапчастииаксессуары普利司通-Blizzak WS-60-225 / 50 R17-зима-комплект
3：99999973НедвижимостьКвартиры1кквартира，39м²
4：99999974УслугиПредложенияуслугРемонт，отделочныеработыподключ
5：99999977БытоваяэлектроникаАудиоивидео诺基亚оригинал
6：99999982ЛичныевещиТоварыдлядетейиигрушкиПродаммобильнакроватку
说明
1：2одинаковыхбалконаразмер1560（ширина）* 1050（высота）подвесекции，на2 полозныхрамах，белые，новые.Вкомплектеестьзацепыиязычкидлязамков.Баконыабсолютноновые（ошиблисьвразмере，неустанавливались）Цена4000однаконструкция，двеотдамза7000
2：4Комплектшины。 5-6мм，равномерныйизнос。 ^ PСтоимостькомплекта16 000рублей^ PДополнительныеномерателефонов^ P 8 - @@ PHONE @@
3：пустая.послеремонта.риэлтор
4：Отделочныеработы。 Комплексныйремонтквартир，домов。 ^ P - выравниваниестен，потолков^ P - гипсокартон^ P - устройствооткосов^ P - шпаклёвка^ P - окраскаводоимульсионнымисоставами^ P - обои
5：вотличномсостоянии
6：Механический.Вотличномсостоянии .Такжемогуотдатькрепеж，ноонпереломленпополам，нотамвполнеможносклеитьклеемипрослужитеще（фото）。
attrs price is_proved is_blocked phones_cnt emails_cnt urls_cnt close_hours
1：{Видтовара：Окнаибалконы} 4000 NA 0 0 0 0 0.69
2：{ Видтовара：Шины，дискииколёса，Типтовара：Шины} 16000 NA 0 1 0 0 0.04
3：{Типобъявления： Сдам，Количествокомнат：1，Надлительныйсрок，Автовокзал} 11000 NA 0 0 0 0 0.20
4：{Видуслуги：Ремонт，строительство} 0 NA 0 0 0 0 23.50
5：{ВидтовараНаушники } 300 NA 0 0 0 0 5.72
6：{игрушки}} 300 NA 0 0 0 0 19.08
。
dim（DT）
[1] 3995803 13
。
$ lscpu
架构：x86_64
CPU操作模式：32位，64 -bit
字节顺序：Little Endian
CPU：2
在线CPU列表：0,1
每个核心的线程数：1
每个套接字的核心数：2
套接字：1
NUMA节点：1
供应商ID：AuthenticAMD
CPU系列：20
型号：2
步进：0
CPU MHz：800.000＃ie我的慢上网本（4GB RAM）
BogoMIPS：1995.01
虚拟化：AMD-V
L1d cache：32K
L1i cache：32K
L2 cache：512K
NUMA node0 CPU：s $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ >
could you please help me?
I am trying to load large TSV file (4 mln rows), and using for that 'fread' (enormous speed :)
Problem is that when reaching certain line all program crashes.
Last message from verbose is "Bumping column 12 from INT64 to REAL on data row 2220004, field contains '0.54'"
I tried to copy only till that row with 'skip' option - it worked fine, but after when I was trying to copy last rows it immediately thrown another error: Unexpected character ("Ам) ending field 5 of line 2220005
After I tried to disable header, to drop the 12th column, to input column classes - nothing worked.
Any ideas how to overcome this issue?
My code:
library(data.table)
movies <- fread('avito_train.tsv', verbose=TRUE, nrows=2220002)
movies2 <- fread('avito_train.tsv', verbose=TRUE, sep="\t", skip=2220004, colClasses=c("integer", "character", "character","character","character", "character","integer","integer","integer","integer","integer","real", "numeric"))
Oh if it change something the text withing tsv file is in slavic.
解决方案 It works fine for me using the latest version of data.table from GitHub. Two recent changes in README may have solved it :
fread() :
* now accepts line breaks inside quoted fields. Thanks to Clayton Stanley for highlighting :
fread and a quoted multi-line column value
* now accepts trailing backslash in quoted fields. Thanks to user2970844 for highlighting :
fread and column with a trailing backslash
Here is the output (on my slow netbook with 4GB RAM which struggles but gets there) :
$ file avito_train.tsv
avito_train.tsv: UTF-8 Unicode text, with very long lines
> DT = fread("Downloads/avito_train.tsv",verbose=TRUE)
Input contains no \n. Taking this to be a filename to open
File opened, filesize is 2.915 GB
File is opened and mapped ok
Detected eol as \n only (no \r afterwards), the UNIX and Mac standard.
Using line 30 to detect sep (the last non blank line in the first 'autostart') ... sep='\t'
Found 13 columns
First row with 13 fields occurs on line 1 (either column names or first row of data)
All the fields on line 1 are character fields. Treating as the column names.
Count of eol after first data row: 3995804
Subtracted 1 for last eol and any trailing empty lines, leaving 3995803 data rows
Type codes ( first 5 rows): 1444441111113
Type codes (+ middle 5 rows): 1444441111113
Type codes (+ last 5 rows): 1444441111113
Type codes: 1444441111113 (after applying colClasses and integer64)
Type codes: 1444441111113 (after applying drop or select (if supplied)
Allocating 13 column slots (13 - 0 dropped)
Read 3995803 rows and 13 (of 13) columns from 2.915 GB file in 00:10:49
82.590s ( 13%) Memory map (rerun may be quicker)
2.930s ( 0%) sep and header detection
68.290s ( 11%) Count rows (wc -l)
0.000s ( 0%) Column type detection (first, middle and last 5 rows)
3.550s ( 1%) Allocation of 3995803x13 result (xMB) in RAM
491.590s ( 76%) Reading data
0.000s ( 0%) Allocation for type bumps (if any), including gc time if triggered
0.000s ( 0%) Coercing data already read in type bumps (if any)
0.080s ( 0%) Changing na.strings to NA
649.030s Total
.
> head(DT)
itemid category subcategory title
1: 10000010 Транспорт Автомобили с пробегом Toyota Sera, 1991
2: 10000025 Услуги Предложения услуг Монтаж кровли
3: 10000094 Личные вещи Одежда, обувь, аксессуары Костюм Steilmann
4: 10000101 Транспорт Автомобили с пробегом Ford Focus, 2011
5: 10000132 Транспорт Запчасти и аксессуары Турбина 3.0 Bar
6: 10000152 Транспорт Автомобили с пробегом ВАЗ 2115 Samara, 2005
description
1: Новая оригинальная линзованая оптика на ксеноне (ближний, дальний), новые задние фонари, новые 16-е диски, новая передняя резина, задние с небольшим износом. ^p Срочно! Торг! ^p Актуально, пока висит объявление!!!
2: Выполняем монтаж кровли фальцевой ^p Тел:8@@PHONE@@
3: Юбка и топ из панбархата. Под топ трикотажная майка. Vобразный вырез спереди и сзади. На юбке по подолу мягкий волан. Длина приблизительно по колено (+3-4 см). Размер 40
4: Автомобиль в отличном техническом состоянии, все работает, включается, переключается и т.д. Нареканий по подвеске, коробке и двигателю нет. Два комплекта резины зима/лето в отличном состоянии. Продается СРОЧНО в связи с семейными обстоятельствами!!! Возможен ТОРГ при осмотре в разумных пределах.
5: Продам турбину на двигатель V-6 . V-8 и мощнее 16 клапанов и выше.....
6: Автомабиль вхорошем состаянием НЕ ГНЕЛАЯ борт комп музыка званите всё раскажу званите влюбое время 8 @@PHONE@@
attrs
1: {""Год выпуска"":""1991"", ""Тип кузова"":""Купе"", ""Пробег"":""10 000 - 14 999"", ""Коробка передач"":""Автоматическая"", ""Объем двигателя"":""1.5"", ""Тип двигателя"":""Бензиновый"", ""Марка"":""Toyota"", ""Модель"":""Sera"", ""Цвет"":""Оранжевый"", ""Привод"":""Передний"", ""Руль"":""Правый"", ""Состояние"":""Не битый""}
2: {""Вид услуги"":""Ремонт, строительство""}
3: {""Вид одежды"":""Женская одежда"", ""Предмет одежды"":""Платья и юбки"", ""Размер"":""46–48 (L)""}
4: {""Марка"":""Ford"", ""Модель"":""Focus"", ""Год выпуска"":""2011"", ""Пробег"":""80 000 - 84 999"", ""Тип кузова"":""Седан"", ""Цвет"":""Чёрный"", ""Объём двигателя"":""1.6"", ""Коробка передач"":""Механическая"", ""Тип двигателя"":""Бензиновый"", ""Привод"":""Передний"", ""Руль"":""Левый"", ""Состояние"":""Не битый""}
5: {""Вид товара"":""Запчасти"", ""Тип товара"":""Для автомобилей""}
6: {""Марка"":""ВАЗ (LADA)"", ""Модель"":""2115 Samara"", ""Год выпуска"":""2005"", ""Пробег"":""140 000 - 149 999"", ""Тип кузова"":""Седан"", ""Цвет"":""Синий"", ""Объём двигателя"":""1.5"", ""Коробка передач"":""Механическая"", ""Тип двигателя"":""Бензиновый"", ""Привод"":""Передний"", ""Руль"":""Левый"", ""Состояние"":""Не битый""}
price is_proved is_blocked phones_cnt emails_cnt urls_cnt close_hours
1: 150000 NA 0 0 0 0 0.03
2: 0 NA 0 1 0 0 22.38
3: 1500 NA 0 0 0 0 0.41
4: 365000 NA 0 0 0 0 8.87
5: 5000 NA 0 0 0 0 11.82
6: 0 NA 0 1 0 0 22.55
.
> tail(DT)
itemid category subcategory title
1: 99999929 Для дома и дачи Ремонт и строительство Алюминиевые раздвижки профиль проведал
2: 99999962 Транспорт Запчасти и аксессуары Bridgestone-Blizzak WS-60-225/50 R17-зима-комплект
3: 99999973 Недвижимость Квартиры 1-к квартира, 39 м²
4: 99999974 Услуги Предложения услуг Ремонт, отделочные работы под ключ
5: 99999977 Бытовая электроника Аудио и видео Nokia оригинал
6: 99999982 Личные вещи Товары для детей и игрушки Продам мобиль на кроватку
description
1: 2 одинаковых балкона размер 1560(ширина)*1050(высота) по две секции , на 2 полозных рамах,белые,новые.В комплекте есть зацепы и язычки для замков.Баконы абсолютно новые(ошиблись в размере,не устанавливались)Цена 4000 одна конструкция,две отдам за 7000.
2: Комплект 4 шины. Протектор 5-6 мм,равномерный износ. ^p Стоимость комплекта 16 000 рублей ^p Дополнительные номера телефонов ^p 8-@@PHONE@@
3: пустая.после ремонта.риэлтор
4: Отделочные работы. Комплексный ремонт квартир, домов. ^p - выравнивание стен, потолков ^p - гипсокартон ^p - устройство откосов ^p - шпаклёвка ^p - окраска водоимульсионными составами ^p - обои
5: в отличном состоянии
6: Механический.В отличном состоянии.Также могу отдать крепеж,но он переломлен пополам,но там вполне можно склеить клеем и прослужит еще(фото).
attrs price is_proved is_blocked phones_cnt emails_cnt urls_cnt close_hours
1: {""Вид товара"":""Окна и балконы""} 4000 NA 0 0 0 0 0.69
2: {""Вид товара"":""Шины, диски и колёса"", ""Тип товара"":""Шины""} 16000 NA 0 1 0 0 0.04
3: {""Тип объявления"":""Сдам"", ""Количество комнат"":""1"", ""Срок аренды"":""На длительный срок"", ""Адрес"":""Автовокзал""} 11000 NA 0 0 0 0 0.20
4: {""Вид услуги"":""Ремонт, строительство""} 0 NA 0 0 0 0 23.50
5: {""Вид товара"":""Наушники""} 300 NA 0 0 0 0 5.72
6: {""Вид товара"":""Игрушки""} 300 NA 0 0 0 0 19.08
.
> dim(DT)
[1] 3995803 13
.
$ lscpu
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 2
On-line CPU(s) list: 0,1
Thread(s) per core: 1
Core(s) per socket: 2
Socket(s): 1
NUMA node(s): 1
Vendor ID: AuthenticAMD
CPU family: 20
Model: 2
Stepping: 0
CPU MHz: 800.000 # i.e. my slow netbook (4GB RAM)
BogoMIPS: 1995.01
Virtualisation: AMD-V
L1d cache: 32K
L1i cache: 32K
L2 cache: 512K
NUMA node0 CPU(s): 0,1
这篇关于fread error“意外字符结束字段”的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
