Spark:哪些选项可以与DataFrame.saveAsTable或DataFrameWriter.Options一起传递? [英] Spark: what options can be passed with DataFrame.saveAsTable or DataFrameWriter.options?

查看:32
本文介绍了Spark:哪些选项可以与DataFrame.saveAsTable或DataFrameWriter.Options一起传递?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

开发人员和API文档都没有任何关于DataFrame.saveAsTableDataFrameWriter.options可以传递哪些选项的参考,它们会影响配置单元表的保存。

我希望在这个问题的答案中,我们可以汇总一些信息,这些信息将有助于Spark开发人员更好地控制Spark保存表的方式,或许还能为改进Spark的文档提供基础。

推荐答案

您在任何地方都看不到options文档的原因是它们是特定于格式的,开发人员可以使用一组新的options继续创建自定义写入格式。

但是,对于一些受支持的格式,我列出了Spark代码本身中提到的选项:

这篇关于Spark:哪些选项可以与DataFrame.saveAsTable或DataFrameWriter.Options一起传递?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆