Pyspark将数据框保存到S3 [英] Pyspark Save dataframe to S3

问题描述

我想将数据帧保存到s3，但是当我将文件保存到s3时，它将使用${folder_name}创建一个空文件，我想在其中保存文件.

I want to save dataframe to s3 but when I save the file to s3 , it creates empty file with ${folder_name}, in which I want to save the file.

保存数据框的语法:-

f.write.parquet("s3n://bucket-name/shri/test")

它将文件保存在测试文件夹中，但在shri下创建$test.

It saves the file in test folder but it creates $test under shri .

有没有一种方法可以保存它而不创建额外的文件夹?

Is there a way I can save it without creating that extra folder?

推荐答案

我能够通过使用以下代码来做到这一点.

I was able to do it by using below code.

df.write.parquet("s3a://bucket-name/shri/test.parquet",mode="overwrite")

这篇关于Pyspark将数据框保存到S3的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！