azure-data-lake相关内容

我们不能使用USQL自定义代码和usql上传文档/图像吗?

情况:我们在Azure数据湖分析中创建了数据库"CLSTrackOMeter"和表"Customer_Information". Customer_Information，将图像的路径存储在暂存文件夹中(目前，我已经在类库中对源图像的路径进行了硬编码). 议程:使用CustInfo中的值将数据上传到Azure数据湖存储"Customer_Image"文件夹中 尝试过的解决方案 - ..

发布时间：2020-09-17 00:08:50 azure azure-data-lake u-sql 其他开发

使用USQL进行复制活动可以使任何主体共享脚本

使用U-SQL复制活动可以使任何主体共享脚本 我想使用U-SQL进行复制活动来读取文件，并使用U-SQL在输出时将该文件写入文件中 解决方案 以下是执行此操作的UDO.其他示例也非常有用. https://github.com/Azure/usql/tree/master/Examples/FileCopyUDOs ..

发布时间：2020-09-17 00:08:48 azure-data-lake u-sql 其他开发

Azure数据湖分析IOutputter E_RUNTIME_USER_ROWTOOBIG

我正在尝试将自定义IOutputter的结果写入本地磁盘上的中间文件. 之后，我要将数据库文件(〜20MB)复制到adl输出存储中. 可悲的是，脚本以以下字符终止: 类型的未处理异常 'Microsoft.Cosmos.ScopeStudio.BusinessObjects.Debugger.ScopeDebugException' 发生在Microsoft.Cosmos.Sco ..

发布时间：2020-09-17 00:08:46 azure azure-data-lake u-sql 其他开发

如何将Azure Blob文件复制到Azure Data Lake Analytics

是否可以在Azure上创建作业或Azure服务以将Azure Blob文件移动(剪切)到Azure数据湖存储? 解决方案 Azure Data Lake Analytics 是一项计算服务，而不是数据存储. Data Lake Analytics作业可以连接到以下数据: Data Lake Store Azure存储(Blob):请参见通过联合查询获得的其他来源: 因此，您 ..

发布时间：2020-09-17 00:08:43 c# azure azure-storage azure-storage-blobs azure-data-lake C#/.NET

Azure .Net SDK错误:FsOpenStream失败，错误0x83090aa2

我们正在尝试下载Data Lake Store中存在的文件.我一直在关注以下使用.Net Azure SDk的教程. https://azure.microsoft.com/zh-CN/documentation/articles/data-lake-analytics-get-started-net-sdk/ 由于我们已经在Azure Data Lake Store中提供了文件，所以 ..

发布时间：2020-09-17 00:08:39 azure azure-sdk-.net azure-data-lake 其他开发

将字符串操作的输出写入Azure Data Lake Store Item

当我尝试将Get-AzureRmDataLakeStoreItemContent输出的String操作的输出写入变量并尝试将其以变量形式传递给New-AzureRmDataLakeStoreItem时，我收到错误消息"New-AzureRmDataLakeStoreItem:传入的无效内容.仅字节[]和字符串内容受支持." 我验证了Get-command的输出是一个对象，但我不明白为什么我无 ..

发布时间：2020-09-17 00:08:36 azure powershell azure-data-lake 其他开发

.Net客户端应用程序访问Azure Data Lake时的AccessControlException

我正在尝试使用我已经在AAD租户中注册了客户端应用，并从那里使用了客户端ID和客户端密码(我认为这是服务到服务的身份验证.) Data Lake处于不同的订阅中，但属于同一租户/AAD 该应用在“所有者"和“分配的权限"下具有读取/写入/执行权限 用于数据湖中的特定文件夹(根文件夹下有两个层次结构).直到根目录的父文件夹都具有此处.该应用程序在“访问控制(IAM)"中的总体级别访问为“ ..

发布时间：2020-09-17 00:08:31 azure azure-active-directory azure-data-lake azure-authentication azure-security 其他开发

U-SQL从模式获取文件路径

我需要获取文件列表，然后过滤此集合 DECLARE @input_file string = @"\data\{*}\{*}\{*}.avro"; @filenames = SELECT filename FROM @input_file; @filtered = SELECT filename FROM @filenames WHERE {condition} 如果可能的话... ..

发布时间：2020-09-17 00:08:29 azure azure-data-lake u-sql azure-stream-analytics 其他开发

使用VSTS Powershell任务的Azure U-SQL连续部署

我正在为我的Azure Data Lake Analytics-USQL代码构建CI/CD，并在使用VSTS Power Shell任务部署发布时遇到以下错误. “来自'example-app1'的访问被拒绝.请向用户授予Azure门户上的必要角色.跟踪:03e7229d-e7ca-43d5-a7be-6e0a3a3b9317" 我已通过以下链接创建了Azure AAD-@search ..

发布时间：2020-09-17 00:07:19 azure-data-lake u-sql azure-pipelines-release-pipeline 其他开发

将azure datalake文件加载到azure datalake gen2的内容类型和x-ms-version是什么?

我必须使用逻辑应用程序将数据湖文件(csv格式)加载到Azure Datalake存储gen2.我已经使用http动作创建了逻辑应用程序，可以创建文件并附加数据.下一个http动作需要给出length.what是什么内容类型，用于文件将数据加载到datalake存储gen2中.我收到以下错误消息:上传的数据不连续或位置查询参数值不等于附加文件后的长度上传的数据和错误代码:InvalidFlushP ..

发布时间：2020-09-17 00:07:14 azure azure-storage azure-data-lake 其他开发

Azure Data Lake存储和数据工厂-临时GUID文件夹和文件

我正在使用Azure数据湖存储(ADLS)，其目标是从Blob存储读取并写入ADLS的Azure数据工厂(ADF)管道.在执行期间，我注意到在输出ADLS中创建了一个文件夹，该文件夹在源数据中不存在.该文件夹具有用于名称的GUID和其中的许多文件，也包括GUID.该文件夹是临时文件夹，大约30秒钟后消失. 这是ADLS元数据索引编制的一部分吗? ADF是否在处理过程中使用了它?尽管它显示在门 ..

发布时间：2020-09-17 00:07:11 azure azure-data-factory azure-data-lake 其他开发

使用SSIS脚本组件读取Azure数据湖存储文件

感谢您的建议. 我的要求是，使用SSIS从ADLS读取json文件并加载到SQL表中 实施: 我已经实现了在.Net Console应用程序中读取json文件内容的代码.这在控制台应用程序中工作正常.我在SSIS脚本组件中复制了相同的代码，但是在 AdlsClient.CreateClient. 中抛出了“'Microsoft.Azure.DataLake.Store.AdlsClien ..

发布时间：2020-09-17 00:06:05 azure ssis azure-data-lake 其他开发

使用按需HD Insight群集从Azure Datafactory V2访问Datalake

我正在尝试使用Azure数据工厂从点播HD Insight群集中执行Spark作业. 文档清楚地表明，ADF(v2)不支持针对点播HD洞察集群的datalake链接服务，因此必须从复制活动中将数据复制到blob上，然后再执行该作业.但是，如果在一个数据湖上有十亿个文件，这种解决方案似乎是非常昂贵的资源.是否有任何有效的方法可以通过执行spark作业的python脚本访问datalake文件， ..

发布时间：2020-09-17 00:05:01 python pyspark azure-hdinsight azure-data-factory azure-data-lake Python

如何对U-SQL脚本进行单元测试?

我目前有一个带有一组不同脚本的U-SQL项目，并且我正在尝试为它们创建单元测试.我可以使用带有一组测试数据的Azure Data Lake工具在本地运行脚本，并生成预期的输出. 这些脚本是纯U-SQL数据操作/转换，因此，由于没有任何方法，我不确定测试该方法的正确方法是什么? 如果有人对应该如何做有任何经验/想法或任何文档，请随时提供帮助. 谢谢 解决方案 Azure Data La ..

发布时间：2020-09-17 00:04:56 unit-testing azure azure-data-lake u-sql 其他开发

Azure Data Lake Store-远程主机强行关闭了现有连接

我使用DataLakeStoreFileSystemManagementClient类从Data Lake Store中读取文件.我们使用类似的代码打开文件的蒸汽，逐字节读取并处理它.在特定情况下，我们不能使用U-SQL进行数据处理. m_adlsFileSystemClient = new DataLakeStoreFileSystemManagementClient(…); return ..

发布时间：2020-09-17 00:04:55 azure-data-lake 其他开发

并发读/写ADLA

问:1 我们正在考虑将读/写并行化到ADLA表，并且想知道这种设计的含义是什么. 我认为读取是可以的，但是对同一ADLA表进行并发写入的最佳实践应该是什么. Q:2 假设我们有USQL脚本，该脚本在相同/不同的ADLA表中具有多个行集和多个输出/插入. USQL中的事务作用域故事是什么.如果输出/插入语句中的任何一条失败，那么它将导致所有先前的插入回滚或不回滚.如何处理交易范围 谢谢 ..

发布时间：2020-09-17 00:03:46 azure-data-lake u-sql 其他开发

Azure Lake Store:响应标头中缺少Access-Control-Allow-Origin

当尝试调用我的Azure Data Lake存储空间并列出所有目录时，它在丢失CORS期间无法返回任何结果.我找不到任何方法为Azure DatalakeStore提供CORS策略(不是与Azure存储相同) 对此有任何解决方法或解决方案吗? 解决方案 Azure中的某些服务仍不提供CORS支持(如DocumentDB，并且您似乎也对ADLS感到满意).在azure提供相同功能之前可 ..

发布时间：2020-09-17 00:03:42 azure cors azure-data-lake azure-management-api 其他开发

ADLA作业未产生预期结果

我正在用U-SQL处理数据，但没有得到预期的结果.这是我在做什么: 1- Select data from ADL table partitions and assign it to @data1 2- Aggregate data using Group BY and assign it to @data2 3- Truncate partitions 4- Insert data( ..

发布时间：2020-09-17 00:03:40 azure-data-lake u-sql 其他开发

U-SQL语句中的动态FROM

我正在尝试在U-SQL中生成动态FROM子句，以便我们可以基于先前的查询结果从不同的文件中提取数据.就像这样: @filesToExtract = SELECT whatevergeneratesthepaths from @foo; ..

发布时间：2020-09-17 00:02:36 azure-data-lake u-sql 其他开发

使用VS 2017的ADL工具进行USQL单元测试-升级到2.3.4000.x后出现错误

将VS的ADL工具升级到2.3.4000.x版后，其中一个团队成员出现了以下错误. 错误:(-1，-1)'E_CSC_SYSTEM_INTERNAL:内部错误！ ObjectManager发现无效数量的修复程序. 这通常表明格式化程序存在问题." 编译失败！ 试图降级到版本(2.3.3000.2)，并没有太大帮助. 如果遇到类似问题，找到原因并解决，请分享. 解 ..

发布时间：2020-09-17 00:02:34 testing azure-data-lake u-sql 其他开发