在Apache Spark 2.0.0中,是否可以从外部数据库中获取查询(而不是获取整个表)? [英] In Apache Spark 2.0.0, is it possible to fetch a query from an external database (rather than grab the whole table)?
本文介绍了在Apache Spark 2.0.0中,是否可以从外部数据库中获取查询(而不是获取整个表)?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
使用pyspark:
from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.appName("spark play")\
.getOrCreate()
df = spark.read\
.format("jdbc")\
.option("url", "jdbc:mysql://localhost:port")\
.option("dbtable", "schema.tablename")\
.option("user", "username")\
.option("password", "password")\
.load()
我宁愿获取查询的结果集,也不愿获取"schema.tablename".
Rather than fetch "schema.tablename", I would prefer to grab the result set of a query.
推荐答案
与1.x相同,您可以传递有效的子查询作为dbtable
参数,例如:
Same as in 1.x you can pass valid subquery as dbtable
argument for example:
...
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")
...
这篇关于在Apache Spark 2.0.0中,是否可以从外部数据库中获取查询(而不是获取整个表)?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文