为什么数据库连接测试在Mac上不起作用？ [英] Why does Databricks Connect Test not work on Mac?

问题描述

我已经查看了配置databricks-connect的文档，但在运行databricks-connect test时仍然出现以下错误

来自终端的错误

java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.STRING_REDACTION_PATTERN()Lorg/apache/spark/internal/config/ConfigEntry;
error: not found: value spark import spark.implicits._
error: not found: value spark import spark.sql
error: not found: value spark spark.range(100).reduce(_ + _)
Scala command failed to produce correct result

设置数据库连接的步骤

• 使用Runtime 5.3和Python2在Databricks上创建了集群
• 将Spark Config设置为spark.databricks.service.server.enabled true(已重新启动)
• 使用Pyenv和Python创建的Python项目2.7.15
• 移除火花源pip uninstall pyspark
• 已安装数据库连接pip install -U databricks-connect==5.3.*
• 配置的数据库连接databricks-connect configure
  • 数据库主机：https://<account>.cloud.databricks.com
  • 数据库令牌：<secret_token>
  • 集群ID：<cluster_token>
  • 组织ID：<left_blank>
  • 端口：15001

导致此错误的原因是什么？是否有可能的修复方法？

已用资源

• Databricks DB Connect
• Databricks Connect Finally
• Why DB Connect doesn't work?

JAVA

进一步调查后，我发现另一个StackOverflow帖子讨论了推荐答案错误如何提示版本不匹配。我将Databricks集群运行时降级为5.1，并通过运行以下命令更新了databricks-connect：

pip install -U databricks-connect==5.1.*

为了验证，我运行：

databricks-connect test

要记住的重要事项：

1. 请先卸载pyspark，因为安装Databricks-Connect将安装略微修改过的pyspark版本。
2. 数据库连接版本必须与群集的DBR版本匹配。
3. 您的本地环境的Python版本必须与您的集群的Python版本匹配。[例如2.7、3.5、3.6、3.7、...]

这篇关于为什么数据库连接测试在Mac上不起作用？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！