在数据库笔记本上将Scala地图转换为对象时出现问题 [英] Issue while converting Scala Map to Object on Databricks Notebook

查看:17
本文介绍了在数据库笔记本上将Scala地图转换为对象时出现问题的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

Issue

我有一个场景,我需要将Scala Map转换为Case类对象,并在以下引用的帮助下在本地实现(Scala版本2.12.13):

  1. Scala: convert map to case class
  2. Convert a Map into Scala object

但当我尝试在Databricks笔记本中运行相同的代码块时,它抛出一个错误:

IllegalArgumentException: Cannot construct instance of '$line23851bc084ae4df7a16bf9c475868d9265.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$Test' (although at least one Creator exists): can only instantiate non-static inner class by using default, no-argument constructor at [Source: UNKNOWN; line: -1, column: -1]

集群配置:数据库运行时8.2(包括Spark 3.1.1、Scala 2.12)。有关完整代码,请参阅屏幕截图。

解决方法(不建议)

def workaround(map: Map[String, Any]): Test = {
  Test(
    map("k1").asInstanceOf[Int],
    map("k2").asInstanceOf[String],
    map("k3").asInstanceOf[String],
  )
}

val result = workaround(myMap)

您对如何解决此问题有什么想法?

推荐答案

我觉得这像是两种可能性之一。

首先,我们应该仔细检查本地运行时环境和Databricks运行时环境之间的版本是否不匹配。您可以查看this page,查看DBR 8.2中包含的所有库版本的列表。特别是,我会检查您的本地环境,以确保您运行的是相同版本的Jackson(2.10.0)。

其次,这可能是Databricks如何实现他们的笔记本和Jackson的局限性之间的交互作用。Databricks笔记本的每个命令都包装在一个随机命名的package object中。例如,我可以从异常中看出保存Test类定义的Package对象是被调用的$line23851bc084ae4df7a16bf9c475868d9265.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw。(我说它命名的,因为您每次重新运行该命令时,它都会生成一个新的包对象)。这意味着当放入笔记本中时,所有类(和其他类型定义)实际上都是path dependent types。更具体地说,对于这个场景,您的Test类是Package对象的内部类。根据错误消息和对文档的一些简短阅读,我怀疑Jackson无法序列化路径依赖类型。

这篇关于在数据库笔记本上将Scala地图转换为对象时出现问题的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆