从第二个R笔记本中调用数据库中的R笔记本 [英] Call R notebooks on Databricks from second R notebook

问题描述

在使用spark-submit传递参数时，我尝试在Databricks上调用R笔记本。

我的方法如下：

com <- "spark-submit foo.R p1 & spark-submit foo.R p2"
system(com)

这应该调用脚本foo.R并移交参数p1。

返回：

 sh: 1: spark-submit: not found
 sh: 1: spark-submit: not found

我预计这会将两个作业提交给Spark集群。我错过了什么有什么帮助吗？谢谢！

推荐答案

我假设您尝试在R笔记本中运行这些命令。从Databricks笔记本调用其他笔记本的标准方法是dbutils.notebook.run。目前只能在Python和Scala中使用。

您可以通过在R笔记本中添加一个Python单元格来解决此问题：

%python
dbutils.notebook.run("foo.R", 60, {"argument": "p1"})
dbutils.notebook.run("foo.R", 60, {"argument": "p2"})

如果您在R中生成笔记本参数p1和p2，您可以使用临时视图将它们传递给Python单元格。

这篇关于从第二个R笔记本中调用数据库中的R笔记本的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！