AzureDataLake相关内容
我正在尝试在Azure Portal上进行OCR分析，但出现错误"C#错误CS0029:无法将类型'Cognition.Vision.OcrExtractor'隐式转换为'Microsoft.Analytics.Interfaces.IProcessor". ;解决方案确保指定了有效的C#表达式. 我确实已经安装了U-SQL扩展.我正在使用以下示例:https://docs.microsof
..
我有创建Data Lake Store的脚本.默认安装仅允许我访问存储.如何让AD用户john.smith@domain.com读写对Data Lake Storage Gen 1中的根对象和子对象的访问权限? https://docs.microsoft.com/zh-cn/azure/data-lake-store/data-lake-store-get-started-powershe
..
我已经为Azure Data Lake Analytics创建了表格和TVF.如何查看已创建表和TVF的列表?我没有在数据浏览器的图形用户界面上看到它们. Kenny_I 解决方案 嗨，肯尼， 我在REST API中看到了对列表表和列表表值函数的调用: https://docs.microsoft.com/en-us/rest/api /datalakeanalytics
..
我有一个U-SQL脚本，可以对其参数化以在不同的环境中运行，有时会混合并匹配存储在blob(wasb://)存储和adls(adl://)中的文件-通常我正在阅读从blob文件写入adls文件. 因此，在Azure环境中，我可以使用最终看起来像这样的变量来构建字符串: adl://adlsname.azuredatalakestore.net/000000000000000000000
..
大家好， 有没有一种方法可以在Data Lake Store(Gen1)中创建审核日志，以更改文件的ACL(权限)和文件的访问权限?看来，Azure门户中的活动日志仅显示通过ARM API进行的更改，因此在配置上 的ADLS，而不是存储在ADLS中的数据. 谢谢 解决方案 中的修饰符 WebHDFS文件系统API 和 日志看起来像这样:
..
在U-SQL中，通过给定startDate和endDate，我们可以通过给定路径: 从数据湖存储中的文件夹中提取所有日志. 路径 = quot;/myData/myLogs/{filedate:yyyy}.{filedate:MM}.{filedate:dd}/ 日志.{filedate:yyyy} .{filedate:MM}.{filedate:dd}.{filedate:HH} .cs
..
嗨， 我正在设计Data Factory管道，以将数据从Azure SQL DB加载到Azure Data Factory. 我的初始加载/POC是一小部分数据，并且能够从SQL表加载到Azure DL. 现在，我想使用DF从SQL DB加载到Azure DL的表数量巨大(甚至超过十亿). MS文档提到了两个选项，即水印列和更改跟踪. 假设我有一个"cust_tran
..
嗨，伙计们? 您有没有使用Talend将数据提取到Data Lake的教程?我已经准备好在talend帮助中心检查一个，但是 效果不是很好 谢谢 解决方案 嗨， 您正在关注哪个文档?您面临的问题是什么? 我建议您，请参考和，看看是否有帮助.
..
我正在使用Data Bricks Scala笔记本，处理数据湖中的文件，然后再次存储在数据湖和Blob存储中.我看到一些不需要的日志文件与数据文件一起存储.因此，我需要一个基于Scala的解决方案来重命名/删除文件/文件夹 解决方案 对于Azure数据湖，您可以尝试通过以下方式重命名或删除文件:使用spark scala调用这些其余端点: 重命名文件 如果有帮助，请告诉我.
..
我已经注册并获得了Data Lake Gen 2的批准，但是，在azure存储v2中创建分层名称空间的选项仍然显示为灰色. 解决方案 你好 您设置了哪些“性能"属性?我注意到，当我选择“高级"时，分层命名空间显示为灰色，但是当我选择“标准"时，它可用.
..
我正在尝试将文件从本地文件夹复制到Azure Data Lake Storage.与ADLS的测试连接在连接管理器中成功完成.但是，当我执行复制文件任务时，它失败并显示以下错误消息. 任务上的Execute方法返回错误代码0x80131537(输入字符串的格式不正确.). Execute方法必须成功，并使用"out"指示结果.参数. 我正在尝试复制pdf文件，因此将输入文件名配置为* .p
..
嗨， 任何人都可以指导我如何在DataBricks中运行python脚本.我在网上搜索，但找不到任何资源. 我发现的停止器是如何在DBFS中上载python脚本，以便可以在DataBricks中引用它. 谢谢 Srinivasan 解决方案 嗨， 以下是显示如何从Azure Databricks GUI运行Spark作业的指南: A nd使用ADF的示例:
..
我想创建一个Web应用程序，该应用程序绘制有关IoT设备使用情况的图表.显示值是来自100'000个设备的汇总值.图形就像每天按区域划分的平均设备使用量等. 我主要是在考虑以下工具. IoT中心-> Azure流分析-> Azure Data Lake Store/Analytics-> Web API-> Web App Q:有什么原因导致Data Lake Store不是存储图形所
..
在AWS上，医疗保健团队拥有ML/数据湖参考架构看到这个: https://d2908q01vomqb2.cloudfront.net/fc074d501302eb2b93e2554793fcaf50b3bf7291/2018/04/25/overall-ref-arch-1024x581.png 我在哪里可以找到与Azure相同的东西-我在寻找蓝图或标准设计模式，但是信息却零散而又不
..
我正在尝试使用以下命令访问datalake文件夹中的文件: Get-AzureRmDataLakeStoreChildItem:在获取路径/dummy之后的listStatus时出错 操作:LISTSTATUS失败，原因是:错误:令牌长度为6.令牌出了点问题.. 2次尝试后引发的最后一次遇到的异常. [使用URI'http://localhost:50342/oauth2/token?r
..
嗨， 我正在编写一个Powershell Runbook例程以在ADL中复制文件，我知道有一个“移动"功能可以工作，但它也可以删除源文件.根据描述，它用于重命名文件. 我的要求是，只需保留与源文件中相同的层次结构，即可将文件/目录复制到新目标位置. 您可以指导我有关此查询吗? 谢谢. Gohar 解决方案 嗨，哈哈， 在这种情况下，我将调查AdlC
..
我正在尝试使用Polybase概念将SQL Server与Azure Data Lake连接起来.尝试创建外部数据源时，出现以下错误: SQL命令: 创建外部数据源AzureDataLakeStore_4 WITH( TYPE = HADOOP， 位置='adl://pesdatalake1.azuredatalakestore.net'， 凭据= [ADL
..
嗨， 我们在下面提供了有关Azure数据湖存储路径的链接 Azure Data Lake路径-adl://test.azuredatalakestore.net/folder1/folder2/folder3 文件名-testfile.tsv 解决方案 Hello Raksha， 在不了解要完成的工作的太多情况下，您是否考虑过Azure数据工厂?看看ADF中的复制活动是
..
我已阅读到在Data Lake Gen 1中存储数据的最佳实践是将数据存储在不小于256mb的文件中.目前，我每天都会在Data Lake中进行增量加载，加载到按日期划分的文件夹中，并按源/表划分文件.这 ADL中的根目录，我正在调用RAW.示例RAW/SourceSystem/年/月/日/SourceTableName.csv 有时只有几个新记录，这意味着文件非常小.即使文件较小，也可以以
..
我们需要使用USQL进行数据的动态数据透视.输入的数据如下所示 需要按如下所示进行转换 USQL支持枢纽吗? 我们应该能够根据输入对(key1，key2 ... keyN)进行分组！ 解决方案 你好 看看这个线程，它可能就是您想要的: https ://social.msdn.microsoft.com/Forums/zh-CN/3d0f6
..
