DataFrameReadercsv(path:String)选项，用于跳过空白行 [英] DataFrameReadercsv(path: String) option for skipping blank lines
本文介绍了DataFrameReadercsv(path:String)选项，用于跳过空白行的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
是
org.apache.spark.sqlDataFrameReadercsv(path: String)
是否可以选择跳过空白行?特别是最后一行是空行吗?
have an option for skipping blank lines? In particular, a blank line as the last line?
推荐答案
您可以尝试将 mode 设置为"DROPMALFORMED" ，如下所示:
You could try setting mode to "DROPMALFORMED" as in:
val df = sqlContext.read.format("com.databricks.spark.csv").option("mode", "DROPMALFORMED")...
在 Python 中:
df = sqlContext.read.format('com.databricks.spark.csv').options(mode = "DROPMALFORMED")...
根据文档:
"...删除令牌少于预期的行或更多行."
"...drops lines which have fewer or more tokens than expected."
这篇关于DataFrameReadercsv(path:String)选项，用于跳过空白行的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
