AzureDataLake相关内容

ADLS Gen 2 REST API的帮助

大家好, b 我正在尝试使用Path创建adls gen2 rest api重命名文件和目录。我正在返回一个错误,说我错过了必需的http标头。我包括的标题是"x-ms-rename-source","x-ms-date"和"x-ms-date"。和"x-ms-version"。 我假设这是一个简单的修复,但我不确定从文档(https://docs.microsoft.com/en- ..
发布时间:2019-06-15 00:25:26 其他开发语言

使用adls gen 2 rest api无法将数据上传到blob存储

嗨, 我正在尝试使用adls gen2 rest api将简单字符串上传到blob文件。我收到403禁止错误返回说我的授权标题不正确。我上传的数据只是一个简单的字符串,我检查了我的共享 键是否正确。我也已经使用api创建了文件。 编码前的授权标头签名: PATCH 64 b $ b $ b $ x-ms-date:星期六,2019年3月16日14:07:0 ..
发布时间:2019-06-15 00:19:50 其他开发语言

通过ACL授予ADLv2文件夹访问权限

我正在尝试使用ACL共享对ADLv2内部文件夹的访问权限。遗憾的是,用户无法在Azure Storage Explorer中看到该文件夹​​。能帮忙吗? $ 步骤: 1)我已将用户添加为访客AAD下的帐户。 2)用户已接受邀请并经历了正常流程。 3)我已将访客帐户添加到安全组。 4)使用"管理访问权限" Azure Storage Explorer中的(又称ACL) ..
发布时间:2019-06-15 00:09:27 其他开发语言

Azure Data Lake Gen2 API标头错误

我正在尝试直接调用gen2 rest端点并继续收到错误,我错过了所需的标头(MissingRequiredHeader消息)未指定此请求必需的HTTP标头。我看不到哪个标头是我用 使用以下代码发送请求。 var client = new HttpClient(); client.BaseAddress = new Uri($" https:// {account} .dfs.cor ..
发布时间:2019-06-14 23:51:46 其他开发语言

Azure数据湖商店Gen2的Python API

除了abfs [1]驱动程序之外,您是否计划为Azure Data Lake Store Gen2发布优化的python api实现? 这可能会带来很大的好处对于dask分布式框架[2]。 [1] https://docs.microsoft.com/en-us/azure/storage/data-lake-storage/abfs-driver [2] https://gi ..
发布时间:2019-06-14 23:39:13 其他开发语言

[ADLS Gen2]从blob存储到Gen 2的异步复制的REST端点

嗨, 想知道是否有REST端点或任何其他机制从blob存储器异步复制到ADLS gen2。 我特意寻找一种从azure函数(python)触发此副本的方法。感谢任何帮助。 谢谢 解决方案 您好Peace4life,感谢您提出问题。 有一个关于为ADLS Gen2使用REST API的相关主题我建议你检查以避免一些挫折。 ADLS Gen2 REST ap ..
发布时间:2019-06-14 23:39:10 其他开发语言

Azure Databricks与Azure HDInsights

大家好, 我想知道人们认为哪些用例最适合Azure Databricks与Azure HDInsights。 这些服务的优点和缺点是什么?最常见的限制是什么? 我知道在整个架构中我们应该考虑利用这两种服务,但知道在什么时候使用它会很好。 谢谢   解决方案 嗨Ricky6789, Azure Databricks是一款优质的Sp ..
发布时间:2019-06-14 23:35:07 其他开发语言

Regex.Matches支持U-SQL

嗨, 我有一个非常长的字符串,其中包含很少的文件名,我想提取所有文件名并忽略其余的数据。 我有正则表达式来查找所有文件名但不知道如何提取所有文件名并将每个文件名转换为单独的行。 任何人都可以指出我正确的方向? 谢谢, Dilkush 谢谢,Dilkush Patel Microsoft SQL开发人员支持Microsoft Corporation 解决方案 ..
发布时间:2019-06-14 22:52:44 其他开发语言

如何使用c#中的共享密钥(Rest Api)将文件上传到azure数据湖存储生成2?

欲知道一种使用c#中的共享密钥(Rest API)在天蓝色数据湖存储生成2上传文件的方法。 我在上传文件时遇到问题。它给出了以下错误。 下面是我的代码.File正在正确创建但是当我尝试在创建的文件中附加数据时它失败。如果我是,请帮助我 做错了。   私有静态AuthenticationHeaderValue GetAuthorizationHeaderUp ..
发布时间:2019-06-14 22:31:29 其他开发语言

Azure Data Lake GEN2 REST API

我们正在从REST API GEN1转换为REST API GEN2,我可以使用一些CURL示例。我看到了创建目录或文件的示例,但我需要list命令的示例来检查文件或目录以及将文件上传到数据湖。 解决方案 Hi Barney, 列出目录中文件的CURL示例: 在文件系统中列出文件时,可以选择允许递归以列出包括子目录在内的所有文件。 要从根目录列出所有文件,请运行以下命令: ..
发布时间:2019-06-14 21:58:47 其他开发语言

无法创建Data Lake目录

Hello Guru, 我正在尝试使用以下代码在我的免费订阅下自动部署到Azure。 $ array = @ (" DEV" ; ," TST" ," PROD" ) 解决方案 辛巴特, 您可以参考 SO 解决类似问题的线程。 希望这会有所帮助。 ..
发布时间:2019-06-14 21:29:09 其他开发语言

在U-SQL中比较日期范围的最佳方法?

有没有人知道在重叠日期范围内加入2个表的最佳方法? 我所拥有的是2个包含开始和结束日期列的表。我想加入日期范围重叠的表格。我尝试了一些查询,但速度很慢。 解决方案 取决于用例。 当需要进一步的日历演算时,那么经常使用日历表作为基表并加入其他表可以简化逻辑。但是对于较大集合的成本。 但基本上它是对负面标准的非等式连接:非重叠。这只是 .. INNER JOIN . ..
发布时间:2019-06-14 21:28:58 其他开发语言

访问Gen2 REST API的示例代码

嗨,对于Gen2 api,我们有以下链接描述操作。 https://docs.microsoft.com/en-us/rest/api/storageservices/data-lake-storage-gen2 但确实如此不包括如何拨打每个电话的示例。 是否存在任何示例? (C#代码等) 如果是这样,请分享链接? 谢谢 解决方案 您好, 这些是数据 ..
发布时间:2019-06-14 21:20:26 其他开发语言

在Azure Data Lake Gen2中上载文件的保留期

解决方案 嗨Ramya, ADLgen2是更复杂的blob,更适合bigdata技术。因为它是一个blob所以如果他们想要保留文件或者在处理完成后删除它们,那么它就是用户。无论如何,您将获得blob存储空间大小的支付,并且此处 是费用明细。 ..
发布时间:2019-06-14 21:09:22 其他开发语言

在VSTS模板中使用SAS令牌

我正在尝试为Data Lake Gen 2构建CI / CD管道,但我遇到了一些问题。我尝试了很多选项,但似乎都没有。基本上,我试图使用链接模板从模板创建数据湖,然后尝试使用PowerShell脚本创建 a文件系统。 现在,Data Lake被创建了这一切都很好。问题出在PowerShell脚本中,我试图通过使用REST API创建文件系统并传递在发布管道中的早期步骤中生成的SAS令牌。 ..
发布时间:2019-06-14 21:07:52 其他开发语言