在数据库中以编程方式将库导入到工作空间 [英] Programatically importing library to workspace in Databricks

问题描述

我想以编程方式将一个(Python Wheel)库添加到Databricks上的/Shared工作区。这在图形用户界面(工作区>导入>库)中很容易完成，但我不知道如何在数据库CLI中完成。

所以我认为我有两种可能的策略：

1. 将其作为库安装
2. 将其作为文件复制到工作区

似乎1)不可行，因为库术语专用于群集上的实际安装，而2)不可行，因为workspace import需要语言(Python、R、SQL等)，并将文件解释为脚本。

所以我对如何处理这个问题有点迷茫。

推荐答案

据我观察：

注意：databricks workspace import"将文件从本地导入到数据库工作区。"

我已尝试使用databricks workspace importcmdlet，了解到它以文件形式复制。

如何使用Azure Databricks CLI安装库？

使用dBFS CLI将库从本地目录复制到dBFS：

databricks fs cp "C:UsersAzurewalaDownloadswheel-0.33.4-py2.py3-none-any.whl" dbfs:/FileStore/jars

使用API或UI创建集群

使用databricks clusters list获取群集ID并复制该群集ID。

使用dBFS CLI将dBFS中的库连接到群集：

databricks libraries install --cluster-id "0802-090441-honks846" --whl "dbfs:/FileStore/jars/wheel-0.33.4-py2.py3-none-any.whl"

使用Azure Databricks CLI成功安装库：

希望这能有所帮助。

这篇关于在数据库中以编程方式将库导入到工作空间的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！