使用pysftp从SFTP读取SHP文件 [英] Read SHP file from SFTP using pysftp

问题描述

我正在尝试使用pysftp的getfo()来读取shapefile(无需下载)。然而，我得到的输出似乎不可行，而且我不确定是否可以使用shapefile来实现此目的。

理想情况下，我希望读入文件并将其转换为Geopandas GeoDataFrame。

import pysftp
import io

with pysftp.Connection(host=host, username=user, password=pass) as sftp:
    print("Connection established ... ")

    flo = io.BytesIO()
    sites = sftp.getfo('sites/Sites.shp', flo)
    value=flo.getvalue()

从这里我无法对值进行解码，并且不确定如何继续。

推荐答案

应该是这样的：

flo.seek(0)
df = geopandas.read_file(shp=flo)

---

虽然使用Connection.getfo不必要地将整个原始文件保留在内存中。效率更高的应该是：

with sftp.open('sites/Sites.shp', bufsize=32768) as f:
    df = geopandas.read_file(f)

(bufsize=32768参见Reading file opened with Python Paramiko SFTPClient.open method is slow)

---

但是，如果我理解正确的话，您需要多个文件。当您通过类文件对象提供"；shp"；时，geopandas不可能神奇地访问远程服务器上的其他相关文件。地质 pandas 不知道它是从哪里来的，甚至不知道它的物理名称是什么。您需要为所有单个文件提供类似文件的对象。参见Using pyshp to read a file-like object from a zipped archive-它们不使用Geopandas，但原理是相同的。

对于Geopandas，似乎是底层Fiona库处理该问题，我找不到任何相关参数的文档。

我猜可能会这样，但这只是一个胡乱猜测：

with sftp.open('sites/Sites.shp', bufsize=32768) as shp,
     sftp.open('sites/Sites.shx', bufsize=32768) as shx:
     sftp.open('sites/Sites.dbf', bufsize=32768) as dbf:
     ...
    df = geopandas.read_file(shp, shx=shx, dbf=dbf, ...)

或切换到shapefile/pyshp module：

with sftp.open('sites/Sites.shp', bufsize=32768) as shp,
     sftp.open('sites/Sites.shx', bufsize=32768) as shx:
     sftp.open('sites/Sites.dbf', bufsize=32768) as dbf:
     ...
    r = shapefile.Reader(shp=shp, shx=shx, dbf=dbf)

另一个诀窍是将所有文件打包到一个压缩存档中：
Read shapefile from HDFS with geopandas

---

顺便说一句，代码无论如何都会下载文件。如果不实际下载文件内容，则无法解析远程文件内容。该代码只是避免将下载的文件内容存储到(临时)本地文件。

这篇关于使用pysftp从SFTP读取SHP文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！