AzureDataLake相关内容

什么是Datalake Analytics运行时版本

我可以在作业管理部分看到2个运行时版本 1)版本_20180315_adl_991096 2)release_20180508_adl_1188452 这两个运行时版本之间有什么区别?我可以看到我的所有工作都因release_20180508_adl_1188452版本而失败. 我需要知道代码中需要进行什么类型的修改. 解决方案 嗨, 感谢您告诉我们 ..
发布时间:2019-06-19 04:48:10 其他开发语言

由于内部系统错误,作业失败.

你好, 我尝试在ADLA中运行一个脚本,该脚本在星期五运行良好,但是现在我得到了: { "jobId":"https://dataplatformdladev.azuredatalakeanalytics.net/jobs/e0124f59-fb4b-49d8-a57b-82ead2ef60a8?api-version=2017-09-01-preview", “错误":{ "er ..
发布时间:2019-06-19 04:39:39 其他开发语言

U-SQL #include文件?

是否可以将.usql脚本包含到其他.usql脚本中,例如可以#include C和C ++语言的文件? 我们有一些常见的重复U-SQL语句,例如用于定义用于JOINing的查找表.当前,我们必须手动在许多.usql脚本中复制/粘贴该定义. 解决方案 如果要定义查找表,可以使用 创建过程和 调用过程. ..
发布时间:2019-06-19 04:27:53 其他开发语言

数据湖

任何人都可以帮助我如何通过Powershell将Azure门户中现有Data Lake中下载的自动化脚本重新部署到具有相同Azure订阅的新RG中. 解决方案 您好Sumanth, 请参考 文档.这应该可以帮助您指导完成上述任务. ..
发布时间:2019-06-19 04:27:35 其他开发语言

自动缩放-ADLA

嗨, 我正在将ADF v2与Azure Data Lake Analytics一起使用.我正在从ADF v2运行USQL代码.无论如何,是否可以根据正在处理的数据量自动缩放ADLA计算?请告知. 谢谢 Soumitra. 解决方案 Soumitra嗨, ADLA根据其大小动态扩展和分配资源以处理数据.请看看这个 文档. ..
发布时间:2019-06-19 04:27:33 其他开发语言

在运行表脚本中出现问题

这是我的代码 如果存在MyDB,则删除DROP DATABASE; 创建数据库MyDB; 如果存在,则删除表MyDB.dbo.Customers; 创建表MyDB.dbo.Customers ( 客户字符串, id int, 索引IDX 集群(客户ASC) 按哈希分布(客户) ); @customers = 选择*从 (值 ..
发布时间:2019-06-19 04:13:53 其他开发语言

将固定长度的多记录类型文件提取到ADL中

大家好, 新成员,我是一位业务分析师,希望开始使用Azure进行分析. 首先要简单地开始,基本上是基于过滤原始源文件来创建文件. 不幸的是,我不必使用CSV或XML/JSON,而不能使用大型机文件,固定记录长度,代表销售交易的多种记录类型文件. 最初,Microsoft代表告诉我(帮助我们提供POC),在Azure上无法实现以上操作.在不了解任何更好的情况下,我所做的就是将 ..
发布时间:2019-06-19 03:55:56 其他开发语言

提交任何作业时如何查找多少个顶点.

你好团队 我一直在研究USQL,但我有一些疑问希望我能到达这里. 1.当我们提交任何作业时,它将转换为顶点,但是我想知道如何在不提交作业的情况下为该作业创建多少个顶点. 2.当我们执行任何工作时,我们会在门户网站上获得效率,而如果增加Au,它将获得效率提高,但仍然相同,因此效率如何关联以及如何提高效率? 3.当我们运行任何python扩展或r扩展时,我们必须使用以下代码. ..
发布时间:2019-06-19 03:53:25 其他开发语言

无法访问我在ADLS中具有权限的文件

因此,我在ADFv2中使用了托管服务身份将文件复制到ADLS.实际上,我已经使用不同的来源(包括HANA)和内部文件共享来做到这一点.在这两种情况下,尽管我清楚地写了一些文件,但我无权访问 表明我在文件上具有READ | WRITE | EXECUTE. 访问文件时出现以下错误: OPEN失败,错误为0x83090aa2(禁止.ACL验证失败.该资源不存在,或者该用户无权执行所请求的操作. ..
发布时间:2019-06-19 03:43:23 其他开发语言

如何从公司防火墙内部将数据批量上传到Azure Data Lake Store

我们希望每天将数据文件上传到ADLS,以供Azure上的分析使用.这些数据是在我们的数据仓库中生成的,并且数据被屏蔽了. 当我在自由连接到互联网的计算机上运行C#代码时,我是直接使用C#代码的代码,但是当然会受到来自DMZ的防火墙事件的阻止.是否有IP和端口号的列表,如果打开,将允许数据传输到 天蓝色?否则,您建议设置此每日传输/上传内容是什么? 解决方案 由于这是每日传输,我会 ..
发布时间:2019-06-19 03:36:27 其他开发语言

获取ADLAJob无法在Azure Run Book中工作

我正在尝试创建一个PowerShell脚本,该脚本生成一个在夜间过程中失败的所有U-SQL作业的列表. 该命令可在PowerShell中运行,但是当尝试在Azure自动化中运行它时,出现以下错误. 脚本是 工作流程 U-SQLDEV 解决方案 身份验证在您的帐户中看起来如何Runbook? 一个例子如下: Conn.TenantID -Appli ..
发布时间:2019-06-19 03:24:27 其他开发语言

ADLS-提取所有文件夹和子文件夹的权限

你好 我们湖中有数百个文件夹和子文件夹.如何提取Azure Data Lake Stores中所有文件夹和子文件夹的权限(所有者,分配的权限和其他所有人)?可以通过任何功能强大的脚本来完成此操作吗 外壳程序,如果有人可以共享吗?如果还有其他提取权限并将权限报告写到文件中的方法,也请分享.它花费了太多时间来手动遍历每个文件夹来获得许可. 请分享您的想法. 此致 Balu Ba ..
发布时间:2019-06-19 02:58:00 其他开发语言

将行集变量转换为标量变量

我有一个行集变量,它正在提取一个csv文件,其中包含一列,其中包含DLS中存在的不同文件的路径.现在,我必须将此行集变量用作可在EXTRACT表达式的FROM子句中使用的标量变量. 请帮助我! 解决方案 请查看此,该信息可以为您提供帮助.请让我们知道查询的样子吗?您想如何在FROM子句中使用行集变量作为标量变量来更好地帮助您. ..
发布时间:2019-06-19 02:55:30 其他开发语言

授权从Excel访问Azure Data Lake

你好   ; I正在开发Azure数据湖,我想将Excel连接到数据湖.   ; 1 .您如何授权用户也可以查看Excel中的数据? I已经使用了两个测试用户,并赋予他们对资源组,服务等的不同访问权限,而他们只是没有访问权限. 只有我本人可以访问.   ; 2 .是否可以限制访问,以便excel只能在数据湖中看到一个特定的文件夹? ..
发布时间:2019-06-19 02:31:45 其他开发语言

我将Null值传递给Python时出现问题

你好 我正在将ADLA与Python脚本一起使用,并且有关文档: U-SQL空值与Pandas NA值相互转换 但是,如果我将int列中的空值传递给python,则该空值将更新为0,因此这意味着我无法区分具有实零的空值(例如做插值). /> 有什么帮助吗? 解决方案 您好, 这是一种解决方法,您可以将其作为字符串传入并稍后进行转换,使用长度来确定可为空性吗? ..
发布时间:2019-06-19 01:48:04 其他开发语言

将JSON直接发布到Azure Data Lake

所有,我当前正在发布一个WebApp,客户端将作为我的终结点,而我要做的就是将接收到的JSON有效负载推送到Azure数据湖.我正在使用python,并在调用"lib.auth"之后,根据消息我创建了一个文件 接收并调用多线程.ADLUploader 无论如何,我都可以避免创建文件.我了解datalake会将所有数据存储在文件中,但是ADLS API是否可以使用某种默认格式来创建文件,以便我 ..
发布时间:2019-06-19 01:32:34 其他开发语言

U-SQL错误调试

是否有一种很好的方法来判断U-SQL作业顶点中的哪个文件实际上导致了错误?我一直找不到简单的方法,几个月来一直让我发疯.例如,我在Data Lake中有一份包含1,000多个文本文件的工作 得到处理.如果其中一个文件中的行中有一个错误的值,则该作业将失败,但是没有简单的方法来判断是哪个文件导致了该失败.它会显示Vertix ...._ Split [0] [887]错误,但是没有简单的方法可以知道 ..
发布时间:2019-06-19 01:26:03 其他开发语言

Azure Data Lake U-SQL作业失败,并出现错误:JM_FinalMetadataOperationUserError

我已经在Azure Data Lake上运行U-SQL作业以更新分区表,它们成功运行,但在“最终定稿"失败. 错误为"JM_FinalMetadataOperationUserError"的阶段,堆栈跟踪如下: 错误消息指出: 由于用户错误而无法写入作业元数据 什么会导致此问题?是由于从表中添加/截断了值吗? 将不胜感激. 解决方案 调查确定了根本原因是试图创建 ..
发布时间:2019-06-19 01:22:49 其他开发语言

奇怪的数据类型转换问题

嗨! 使用JSON提取器读取JSON文件并以CSV格式导出.我以为,除非强制转换,否则所有东西都是字符串!但是 为什么要输入: {"ID":226552,"DetailCost":-0.000066} {"ID":226552,"DetailCost":-0.312519} 创建输出: "BillLocationInvoiceProductId","DetailCost ..
发布时间:2019-06-19 00:44:47 其他开发语言