AzureDataLake相关内容

错误“BadRequest”使用c#创建事件集线器时发生

我正在使用事件中心管理库来创建事件中心。 但是当我将目标设置为azure数据湖存储时,会发生以下错误:Microsoft.Azure.Management.EventHub.Models.ErrorResponseException:'Operation返回了无效的状态代码'BadRequest''。顺便说一句,在天蓝色的门户网站中,我可以手动 创建事件中心,并且成功地将目标连接到相同的a ..
发布时间:2019-06-15 04:16:39 其他开发语言

Azure Datalake与python

嗨,我试图通过使用python扩展将python脚本用于Azure数据湖中的u-sql,我想我认为大熊猫的版本已经很老了。 @ output_calculated = 解决方案 您好Kensoo, 尝试.std()函数时收到的错误是什么? ..
发布时间:2019-06-15 04:03:21 其他开发语言

安全性最佳实践Azure Data Lake创建

嗨, 我试图为组织内的数据湖提供一个ARM模板。希望只有一个数据湖,然后是下面的各种文件夹结构来代表各个业务领域。 目前,我正专注于通过ARM模板创建数据湖然后将在适当的文件夹结构上进行。我已经完成了Azure Data Lake的最佳实践,一旦创建了湖,就会讨论创建安全组 。 1。谁应该是Data Lake的所有者?鉴于它是企业范围的,特定的应用程序ID或应用程序特定的组不能 ..
发布时间:2019-06-15 04:00:47 其他开发语言

Azure Data Lake Gen 2

您好, 是否有用于上传/下载Azure Data Lake Gen 2文件的SDK / Lib或示例代码?我没有找到任何代码示例。 谢谢问候Nicole 解决方案 你可以上传并使用Azure存储资源管理器或Azcopy将文件下载到Azure数据湖第2代。 参考: - https://docs.microsoft.com/en-us/azure/storage/blobs ..
发布时间:2019-06-15 03:53:16 其他开发语言

Azure Data Lake Gen 2摄取机制

在Data Lake Gen1中,我们可以通过PowerShell和Python与它进行交互,但是对于Gen 2,似乎选项非常有限。 例如,通过Poweshell,我们可以创建一个启用了分层命名空间的存储帐户(Data Lake Gen 2)。例如,这很好用: $ storageAccount = New-AzStorageAccount - ResourceGroupNam ..
发布时间:2019-06-15 03:30:32 其他开发语言

如何在ADLS和U-SQL中获得更好的大文件性能

我有一个Data Lake,它有一个RAW,Staging和Curated区域。 当我"烹饪"时我的数据我将它与策划文件合并。 我有一些非常大的精选文件 - 超过100GB的数据和十亿条记录并且还在增长。 要从RAW获取数据并进入Curated,我正在检查对于已经存在但需要"更新"的记录。 基本上我每天都在重新处理Curated数据。 这样做成本很高。 在日常流程中将所有RAW数据放入C ..
发布时间:2019-06-15 03:29:30 其他开发语言

ADLS第2代与SSIS

是否可以将SSIS与ADLS gen2一起使用? 我设法使用blob连接器在连接管理器中并成功连接到ADLS Gen2,但是当我尝试使用blob源组件时,我收到400错误请求。 如果它只是一个没有HNS的blob存储,则工作正常。 ADLS组件声明它仅适用于ADLS第1代。 SSIS 与ADLS gen 2不兼容,还是有一个我不知道的技巧? 解决方案 你好, ..
发布时间:2019-06-15 03:24:14 其他开发语言

如何删除文件和所有目录中的数据列

我的所有源表都有一个RAW目录。 在该RAW目录中,我有许多增量文件。 我需要从给定源表的RAW目录中的所有文件中删除列。 我认为 执行此操作的最简单方法是在单独的位置输出新文件并删除原始文件,然后将新文件移回。 但我不确定在多个目录中删除单个源表的所有文件的简单方法。 我曾经尝试过使用ADF或U-SQL的 方式,但是除了编写自定义.net代码之外,我没有想出任何简单的东西。 解决方案 ..
发布时间:2019-06-15 02:43:35 其他开发语言

存储帐户(Gen v2)是否具有Microsoft Azure Storage SDK for .NET(9.4.2)支持的分层命名空间?

嗨, 我正在尝试检查Microsoft Azure存储SDK for .NET(9.4.2)是否可以用于Azure存储帐户(Gen v2)以及  ;是否启用了分层命名空间? 我收到以下错误:"分层命名空间 帐户尚不支持Blob API" 但是,最新的Azure Storage Explorer允许我添加此存储帐户并添加容器/ blob等。 我们热衷于将Data Lake Ge ..
发布时间:2019-06-15 02:38:58 其他开发语言

Azure Databricks - DR配置

根据链接 - https://docs.microsoft.com/en-us/azure/azure-databricks/howto-regional-disaster-recovery我们可以在辅助设置中设置辅助Databricks群集区域。我有一个基本问题 - 如果我们切换到使用二级的 辅助群集进行故障转移存储(GR存储)。群集将如何工作。 GR存储以只读方式提供。 我知道Az ..
发布时间:2019-06-15 02:17:58 其他开发语言

在文件共享中提供对ADF V2的访问(在ADL Gen2中)

在ADL Gen2中,我创建了一个文件共享。 ADF具有文件系统(内部部署文件夹)作为源和&文件共享为目标。我们是否需要在FIle Share中提供对ADF的访问权限?如果是,那么如何提供访问权限? 谢谢&此致, Preyash Vrat 解决方案 Hi Preyash Vrat, 注意: 使用Azure Data Factory,您可以将数据复制到Azure Dat ..
发布时间:2019-06-15 02:17:42 其他开发语言

配置属性的问题

Hello Team 似乎在我们想要创建azure数据湖分析资源时,我们必须需要一个azure数据湖资源。 但是,它只接受azure数据湖生成-1帐户作为列表的一部分。 我在Azure基础设施中仅使用Gen-2 Data Lake帐户。您对这些情况有何建议。 谢谢 Naveen Thummalapenta 解决方案 嗨Naveen, 目前,Azure ..
发布时间:2019-06-15 02:17:15 其他开发语言

Azure Data Lake Analytics与传统的数据虚拟化工具

您好。 是否有任何人将Azure Data Lake Analytics与传统数据可视化工具(如Denodo)进行比较? ADLA看起来非常吸引人,但连接数量似乎有限。我希望能够连接到各种来源,例如Salesforce,Workday,各种Web服务等,以引入和联合数据。 Is那可能吗? 谢谢 鲍里斯 解决方案 嗨鲍里斯, Azure Data L ..
发布时间:2019-06-15 01:38:00 其他开发语言

Data Lake Analytics是否可在美国西部使用?

我们的客户已经与我们签订合同,将大量数据从内部部署转移到AAS。我们使用ADF,ADLS(第2代)和ADLA的组合来做到这一点。客户还坚持认为所有服务都在美国西部地区之外。目前,ADLA仅在北美的 US = East和US-Central提供。 有没有计划在美国西部提供这项服务? 谢谢你,b -Cliff。 解决方案 Hi Cliff, Azure Data La ..
发布时间:2019-06-15 01:19:36 其他开发语言

U-SQL代码的性能问题

嗨, 我在U-SQL中执行一个存储过程,最初,它用于工作很好,但是从过去的3天开始,它开始给出性能问题。在某个步骤中卡住了,我无法在 u-SQL中找出查询的确切部分延迟执行。 我已附上工作图的屏幕截图,如果有人能让我知道,那就太棒了识别问题的方法 Thankx& amp;问候,Vipin jha MCP 解决方案 Hi Vipin jha, 这个问题看起来很奇怪。 ..
发布时间:2019-06-15 01:15:55 其他开发语言

USQL Casting

大家好, 我正在使用USQL,并希望将字符串列强制转换为整数列,或者将字符串变量强制转换为整数变量。 我在SELECT子句中尝试了(int?)ColumnName但是没有真正起作用。 有没有办法解决这个问题? 谢谢 解决方案 你好, 我找到了一个帖子解决Stack Overflow上的类似问题。请查看答案 此主题 。我相信它们对您的情况也可能有所帮助。 ..
发布时间:2019-06-15 01:07:45 其他开发语言

ADLS Gen2中基于IP的安全性

支持基于IP的安全性 ADLS Gen1& Gen2? 解决方案 Hi Preyash, 您可以使用 防火墙和虚拟网络,可根据网络规则限制对存储帐户的访问。此方法允许您拒绝访问公共 互联网流量,并仅授予对特定Azure虚拟网络或公共互联网IP地址范围的访问权限。 有关详细信息,请参阅" Azure Data Lake Storage Gen2安全指南"。 此外,您可 ..
发布时间:2019-06-15 01:01:00 其他开发语言

ADLS Gen 2 - EPS的SLA(每秒事件数)

您好, 我们正在升级到ADLS Gen 2,我们正在构建一个API以将事件推送到ADLS Gen 2. 请您指点ADLS Gen 2 SLA文件,该文件说明了ADLS Gen 2帐户可以处理的每秒事件数(EPS)。 这将帮助我们微调我们的API,确定我们需要多少Gen 2帐户以及相关费用。 谢谢 解决方案 你好, 请澄清 - 按事件,你的意思是事件从事件中心 ..
发布时间:2019-06-15 00:34:18 其他开发语言

使用Azure Data Lake Analytics进行批量分析

Data Lake Analytics--添加新工作: 我正在尝试为Data Lake Analytics添加新工作,但是当我运行时提供U-SQL代码用于提交"HistoricalTurbineAnalysis", 我收到此错误:"E_STORE_USER FILE NOT FOUND:文件未找到或访问被拒绝",并且无法解决问题,任何人都知道为什么我无法胜任这份工作? 解决方案 ..
发布时间:2019-06-15 00:32:41 其他开发语言

SELECT DISTINCT行 - USQL

大家好, 有没有办法像在SQL中那样在USQL中执行SELECT DISTINCT(column_name)? 示例: @input EXTRACT column1 string,column2 string .... @noDupInput SELECT column1,column2 ....(让我们看看说我想对第1列值或仅在整行上做一个明确的分析) 我只是想过滤 ..
发布时间:2019-06-15 00:28:45 其他开发语言