无法使用本地hadoop与azure blob存储进行连接 [英] Unable to connect with azure blob storage with local hadoop

问题描述

尝试将本地hadoop 与 AZURE BLOB 存储连接时（例如，使用 blob存储作为HDFS ）with
Hadoop Version - 2.7.1，它引发异常

在这里，我通过设置属性

$ b成功地创建了本地集群
$ b

 <属性> 
<名称> fs.default.name< /名称> 
<值> wasb：//[e-mail]< /值> 
< / property> 
  

，然后是核心site.xml中的blob存储的关键值。

$ b 将文件或 HDFS操作列入BLOB存储时，将以下异常作为

  ls：没有FileSystem for scheme：wasb 
  

任何人都请指导我解决上述问题。

解决方案

1. 您需要添加 hadoop-azure.jar 。


2. 下载 azure-storage-java 项目和使用maven构建它，然后你会得到azure-storage-3.0.0.jar。将构建的jar添加到hadoop类路径中。

现在您可以执行所有操作。有关更多信息，请参阅 Azure Blob存储文档。

While trying to connect the local hadoop with the AZURE BLOB storage (ie using the blob storage as HDFS)with Hadoop Version - 2.7.1, It throws exception

Here i have successfully formed the local cluster by setting the property

<property>
    <name>fs.default.name</name>
    <value>wasb://[e-mail]</value>
</property>

and followed by its key value for blob storage in core-site.xml.

while listing the file or making HDFS operations to the blob storage,getting the follwing Exception as

 ls: No FileSystem for scheme: wasb

Anyone please guide me to resolve the above issue.

解决方案

1. You need to add hadoop-azure.jar in the hadoop classpath.
2. Download azure-storage-java project and build it using maven then you will get azure-storage-3.0.0.jar. Add the built jar in hadoop classpath.

Now you can do all the operations. Refer Azure Blob Storage documentation for more information.

这篇关于无法使用本地hadoop与azure blob存储进行连接的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！