使用Spark和Phoenix将CSV文件保存到hbase表 [英] Save CSV file to hbase table using Spark and Phoenix

问题描述

有人可以指出一个使用Spark 2.2 将csv文件保存到Hbase表的工作示例吗? 我尝试和失败的选项(请注意:所有选项都对我来说适用于Spark 1.6)

Can someone point me to a working example of saving a csv file to Hbase table using Spark 2.2 Options that I tried and failed (Note: all of them work with Spark 1.6 for me)

1. 凤凰火花
2. hbase-spark
3. it.nerdammer.bigdata:spark-hbase-connector_2.10

在解决所有问题之后，所有这些最终都给此

All of them finally after fixing everything give similar error to this Spark HBase

谢谢

推荐答案

将以下参数添加到您的spark作业中-

Add below parameters to your spark job-

spark-submit \
--conf "spark.yarn.stagingDir=/somelocation" \
--conf "spark.hadoop.mapreduce.output.fileoutputformat.outputdir=/s‌​omelocation" \
--conf "spark.hadoop.mapred.output.dir=/somelocation"

这篇关于使用Spark和Phoenix将CSV文件保存到hbase表的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！