无需 SPnego 即可访问受 kerberos 保护的 WebHDFS
我有一个使用 WebHDFS 管理 HDFS 的工作应用程序.我需要能够在 Kerberos 安全集群上执行此操作. 问题是，没有库或扩展可以为我的应用协商票证，我只有一个基本的 HTTP 客户端. 是否可以创建一个 Java 服务来处理票证交换，一旦它获得服务票证，就可以将其传递给应用程序以在 HTTP 请求中使用?换句话说，我的应用程序会要求 Java 服务协商票证，它会以字符串或
..
webhdfs相关内容
将 --negotiate 与 curl 一起使用时，是否需要密钥表文件?
文档描述如何连接到 kerberos 安全端点显示以下内容: curl -i --negotiate -u : "http://:/webhdfs/v1/?op=..." -u 标志必须提供，但被 curl 忽略. --negotiate 选项是否会导致 curl 查找使用 kinit 命令预先创建的密钥表，或者 curl 会提示输入凭据? 如果它查找密钥表文件，该命令将查找什么文
..
找不到webhdfs其余api抛出文件异常
我正在尝试使用webhdfs从命令行从cdh5计算机打开cdh4群集上cdh4群集上存在的hdfs文件，如下所示： curl -i -L“ http：// namenodeIpofCDH4：50070 / webhdfs / v1 / user / quad / source / JSONML.java？user.name = quad& op = OPEN” 即使在名称
..
webhdfs始终重定向到localhost:50075
我有一个hdfs集群(hadoop 2.7.1)，其中有一个名称节点，一个辅助名称节点，3个数据节点. 启用webhdfs并进行测试时，我发现它始终重定向到未配置为datanode的"localhost:50075". csrd@secondarynamenode:~/lybica-hdfs-viewer$ curl -i -L "http://10.56.219.30:50070/w
..
知道hadoop中数据节点的磁盘空间吗?
是否有一种方法或任何命令可以用来了解每个数据节点的磁盘空间或总群集磁盘空间? 我尝试了命令 dfs -du -h / 但是似乎我没有权限在许多目录中执行它，因此无法获取实际的磁盘空间. 解决方案 从用户界面: http://namenode:50070/dfshealth.html#tab-datanode --->将为您提供有关datanode的所有详细信息.
..
使用Webhdfs/httpfs进行Spark
我想通过httpfs或Webhdfs将HDFS中的文件读取到Spark中.类似于 sc.textFile("webhdfs://myhost:14000/webhdfs/v1/path/to/file.txt") ，或者理想情况下， sc.textFile("httpfs://myhost:14000/webhdfs/v1/path/to/file.txt") 是否有办法让
..
Webhdfs上的权限错误
我正在使用Hadoop HDFS的REST接口作为通过网络存储文件的便捷方式。要测试我在我的Mac（10.8.5）上安装了hadoop，请按照以下说明操作： http://importantfish.com/how-to-install-hadoop-on-mac-os-x/ 这就像一个魅力，我可以启动hadoop并运行一个基本测试： hadoop-examples-1.1 .2
..
通过webHDFS REST API将图像上传到HDFS的问题
我正在使用MultiPartEntity的HttpPut通过webHDFS REST API将文件写入HDFS。请求本身经过并给了我正确的回应，307和201.然而，图像具有多部分标题，也作为其一部分写入，如下所示，它不是一个有效的图像来检索和打开。 - 8DkJ3RkUHahEaNE9Ktw8NC1TFOqegjfA9Ps Content-Disposition：form-data;
..
WEBHDFS REST API将文件从Windows Server /本地文件夹/桌面复制/移动到HDFS
使用WEBHDFS REST API调用可以将文件从Windows机器（即Windows服务器或Windows本地文件夹或桌面）传输或复制到Hadoop-HDFS文件系统？ 如果是，有任何示例命令信息？ 我尝试过使用 Windows - >（使用ftp） - > Linux目录 - >（使用webhdfs） > HDFS，这是两个步骤的过程，我直接从Windows - >（web
..
docker kerberos webhdfs AuthenticationException：未经授权
我有一个春天的应用程序。其中一种方法使用webhdfs从hdfs中读取文件。当我在想法中测试它时，它会起作用。但是，在构建项目并在虚拟机上本地或连接到hdfs的服务器上部署Docker镜像之后，我就可以看到。 AuthenticationException ：未授权 在我的本地机器上，我必须定期用 $ b $初始化标记b kinit 如果我不这样做，
..
如何使用c＃验证WebHDFS
我一直在尝试使用WebHDFS REST API将使用c＃的文件上传到Hadoop。 此代码正常工作： 使用（var client = new System.Net.WebClient（）） { string result = client.DownloadString（“http：// host：50070 / webhdfs / v1 / user / myuser /？op
..
Hadoop Rest API用于上传/下载
我试图使用C＃应用程序从Hadoop集群上传/下载文件，但是我无法找到用于上传的API并从文档中下载。 那么你能让我知道如何使用RestAPI上传和下载Hadoop中的文件吗？ $ b 谢谢 nofollow“> http://hadoop.apache.org/docs/r1.0.4/webhdfs.html 编辑： 创建并写入文件 第1步： 提交一个HT
..
通过http访问存储在HDFS中的视频
我想访问存储在HDFS&在网页浏览器中显示它们。我发现这个项目（ https://github.com/yeleaveszi/Play-Videos-In- HDFS ）在github上正是这样做，但无法使其工作。 任何人都可以提供一些信息或方式，让我可以在网络浏览器上显示HDFS中存储的视频。 也有可能获得存储在HDFS中的视频的HTTP链接，我读过关于WebHDFS& HTTPFS，但
..
Webhdfs返回错误的datanode地址
curl -i -X PUT“http：// SomeHostname：50070 / webhdfs / v1 / file1？op = CREATE” HTTP / 1.1 307 TEMPORARY_REDIRECT Content-Type：application / octet-stream 位置：http：// sslave0：50075 / webhdfs / v1 / f
..
使用WebHDFS复制文件
有没有办法从一个文件（比如说）复制一个文件 hdfs：// old 到 hdfs：// new 解决方案 不知道WebHDFS，但这是可以实现的使用 hadoop distcp 。 该命令如下所示： hadoop distcp hdfs：// old_nn：8020 / old / location / path .file hdfs：// new_nn：8020 / new /
..
Namenode高可用性客户端请求
任何人都可以告诉我，如果我正在使用java应用程序通过Namenode HA安装程序向HDFS请求一些文件上载/下载操作，那么这个请求首先放到哪里？我的意思是客户如何知道哪个namenode是活动的？ 如果您提供一些工作流类型图或详细解释请求步骤（从开始到结束）。 解决方案 如果hadoop集群配置了HA，那么它将在hdfs-site.xml中具有namenode ID，如下所示：
..
WebHDFS vs HttpFS
WebHDFS REST之间有什么区别API 和 HttpFS ？ 如果我理解正确： HttpFS是一个独立的服务，公开REST API HDFS的顶层 WebHDFS是内置于HDFS的REST API。它不需要任何进一步的安装。 我是否正确？ 什么时候建议使用一个而不是另一个？ 解决方案 我已阅读与您的问题相关的文章。以下是链接。 https://www.
..
Hadoop目录/文件上次修改时间
有没有办法获得hdfs中所有dirs和文件的最后修改时间？我想创建一个显示信息的页面，但我不知道如何在一个.txt文件中获取最后一个mod时间。 解决方案看看它是否有帮助： public class HdfsDemo { public static void main（String [] args）抛出IOException { Configuration conf =
..
当使用 - 与curl协商时，是否需要keytab文件？
描述如何使用文档连接到kerberos安全端点显示如下： curl -i --negotiate -u：“http：//< ; HOST>： / webhdfs / v1 /？op = ...“ 必须提供 -u 标志，但被curl忽略。 $ - negotiate 选项是否会导致curl查找预先使用 kinit 命令，或者会提
..
在不使用SPnego的情况下访问受Kerberos保护的WebHDFS
我有一个使用WebHDFS管理HDFS的工作应用程序。 我需要能够在Kerberos安全集群上执行此操作。 问题是，没有库或扩展来协商我的票应用程序，我只有一个基本的HTTP客户端。 是否有可能创建一个Java服务来处理票据交换，它的应用程序在HTTP请求中使用？ 换句话说，我的应用程序会要求Java服务协商票据，并且它会将服务票据以字符串或原始字符串的形式返回给我的应用程序，并且
..