使用Python3与HDFS交互的最佳模块是什么? [英] What's the best module for interacting with HDFS with Python3?
本文介绍了使用Python3与HDFS交互的最佳模块是什么?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
推荐答案
据我所知,可能性并不像人们想象的那么多。但是我推荐官方的Python包hdfs 2.0.12
,它可以从website下载,也可以通过运行以下命令从终端下载:
pip install hdfs
部分功能:
-
WebHDFS(和HttpFS)API的Python(2和3)绑定,
同时支持安全和不安全群集。
- 命令行界面 要传输文件并启动带有别名的交互式客户端shell,请执行以下操作 用于方便的NameNode URL缓存。
- 通过以下方式提供附加功能 可选扩展名:avro,可直接读写avro文件 HDFS。DataFrame,用于加载和保存 pandas 数据帧。Kerberos,至 支持Kerberos身份验证群集。
这篇关于使用Python3与HDFS交互的最佳模块是什么?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文