如何加入使用Java在星火SQL多发性列在数据帧过滤 [英] How to Join Mutiple Columns in Spark SQL using Java for filtering in DataFrame

问题描述

• 数据帧一 =包含列X，Y，Z，K



• 数据帧b =包含列X，Y，A

• DataFrame a = contains column x,y,z,k

• DataFrame b = contains column x,y,a

a.join(b,<condition to use in java to use x,y >) ??? 

我试图用

a.join(b,a.col("x").equalTo(b.col("x")) && a.col("y").equalTo(b.col("y"),"inner")

但Java抛出错误说＆放大器;＆安培; 不允许

有人能帮忙吗？谢谢

推荐答案

星火SQL提供了一组方法对列标记为 java_expr_ops 这是专为Java的互操作性。它包含可以在这里使用和方法：

Spark SQL provides a group of methods on Column marked as java_expr_ops which are designed for Java interoperability. It includes and method which can be used here:

a.col("x").equalTo(b.col("x")).and(a.col("y").equalTo(b.col("y"))

这篇关于如何加入使用Java在星火SQL多发性列在数据帧过滤的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！