Spark 1.6.Token只能使用kerberos或Web身份验证发布 [英] Spark 1.6.Token can be issued only with kerberos or web authentication

问题描述

我在我的shell驱动脚本的spark-submit之前调用了kinit keytab。事情是，它自己工作，但是当我调用shell驱动程序通过Oozie scrip时，我得到这个错误：

  Stdoutput py4j.protocol.Py4JJavaError：调用
 o49.saveAsTextFile时发生错误。 
 Stdoutput：org.apache.hadoop.ipc.RemoteException（java.io.IOException）：
授权令牌只能使用kerberos或Web认证发布
  

问题可能出在这里

  file.coalesce 1，True）.saveAsTextFile（FQDNofHadoop +输出）
  

编辑：在我的脚本中是：kinit -k -t /home/me/me.keytab [e-mail]

编辑：工作解决方案：

我用

  spark-submit --principal'[e-mail]'\ --keytab'/ home / me / me.keytab'\ 
  

和oozie中的pyspark脚本的执行没有任何错误（甚至写入配置单元表等）。 Log4j记录器没有工作（使用独立的脚本），但至少print（）（stdout到纱线日志）是的... ...

Thx

解决方案

- 使用--principal'[e-mail]'\ --keytab'/home/me/me.keytab'\并执行pyspark脚本，没有错误（甚至写入配置单元表等）。记录器没有工作，但至少print（）是...

I call kinit keytab right before spark-submit in my shell driver script. The thing is, its working by itself, but when I call the shell driver scrip it through Oozie, I got this error:

Stdoutput py4j.protocol.Py4JJavaError: An error occurred while calling 
o49.saveAsTextFile.
Stdoutput : org.apache.hadoop.ipc.RemoteException(java.io.IOException): 
Delegation Token can be issued only with kerberos or web authentication

The issue is probably here

file.coalesce(1,True).saveAsTextFile(FQDNofHadoop+output) 

EDIT: In my script is: kinit -k -t /home/me/me.keytab [e-mail]

EDIT: Working solution:

I used

spark-submit --principal '[e-mail]' \ --keytab '/home/me/me.keytab' \ 

and execution of pyspark script in oozie worked with no error (even writing into hive table and so on). Log4j logger didn't work (with standalone scripts it does), but at least print() (stdout into yarn logs) yes ...

Thx

解决方案

I used --principal '[e-mail]' \ --keytab '/home/me/me.keytab' \ and execution of pyspark script worked with no error (even writing into hive table and so on). Logger didn't work, but at least print() yes ...

这篇关于Spark 1.6.Token只能使用kerberos或Web身份验证发布的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！