无法获得主Kerberos主体作为Talend批处理作业的续订者 [英] Can't get Master Kerberos principal for use as renewer for Talend Batch Jobs

问题描述

我们正尝试使用talend批处理(spark)作业来访问Kerberos群集中的配置单元，但出现以下无法获取主Kerberos主体作为更新程序"错误.

we are trying to use talend batch (spark) jobs to access hive in a Kerberos cluster but we are getting the below "Can't get Master Kerberos principal for use as renewer" error.

通过使用talend中的标准作业(非火花)，我们可以毫无任何问题地访问蜂巢.

By using the standard jobs(non spark) in talend we are able to access hive without any issue.

以下是观察值:

1. 当我们运行Spark作业时，talend可以连接到蜂巢元存储区并验证语法.例如，如果我提供了错误的表格名称，它确实会返回找不到表".
2. 当我们从没有数据的表中选择count(*)时，它将返回"NULL"，但如果Hdfs(table)中存在某些数据，则失败并显示错误无法获取主Kerberos主体用作更新程序".

我不确定是什么原因导致了令牌问题.有人可以帮助我们知道根本原因吗?

I am not sure exactly what is the issue which is causing the token problem. could some one help us know the root cause.

如果我使用spark批处理作业对hdfs进行读/写操作，则需要添加另一项而不是hive，所以唯一的问题是hive和Kerberos.

One more thing to add instead of hive if I read / write to hdfs using spark batch jobs it works , So only problem is with hive and Kerberos.

推荐答案

您应该在类路径(:/path/hadoop-configuration)中包含hadoop配置.您应该在该hadoop配置目录中包括所有配置文件，而不仅仅是core-site.xml和hdfs-site.xml文件.它发生在我身上，这解决了问题.

You should include the hadoop config in the classpath (:/path/hadoop-configuration). You should include all configuration files in that hadoop configuration directory, not only the core-site.xml and hdfs-site.xml files. It happened to me and that solved the problem.

这篇关于无法获得主Kerberos主体作为Talend批处理作业的续订者的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！