azure-blob-storage相关内容

必须如何存储Azure BlobStorage连接数据才能支持所有可用的寻址模式?

我正在使用库Microsoft.Azure.Storage.Blob11.2.3.0和Microsoft.Azure.Storage.Common11.2.3.0从.NET Core 3.1应用程序连接到Azure BlobStorage。 我的应用程序的用户应该向/从Azure BlobStorage提供连接信息,该应用程序将在该位置存放/检索数据。 最初,我假设允许用户指定连接字符 ..

在Azure存储中,ABFSS和WASBS有什么不同?

有关于什么是ABFS[S]和WASB[S]的定义。 但没有明确界定何时使用什么。这两种情况的合适和最合适的用例是什么? 推荐答案 区别和用例如下: ABFS[S]用于Azure Data Lake Storage Gen2,它基于常规Azure storage(在创建Azure存储帐户时,启用分层命名空间,然后创建Azure数据湖存储Gen2)。例如here。 WASB[S ..

如何在Azure存储容器中创建目录,而不创建额外的文件?

我已经创建了在Azure存储容器中创建一系列文件夹和子文件夹(用于数据湖)的Python代码。该代码工作正常,并基于Microsoft Azure上的文档。不过,有一件事是我在文件夹中创建了一个虚拟的‘txt’文件,以便创建目录(我可以稍后清理它)。我想知道是否有一种方法可以在不创建文件的情况下创建文件夹和子文件夹。我知道Azure容器存储中的文件夹不是分层的,而是元数据,我所要求的可能是不可能的 ..
发布时间:2022-08-05 09:13:05 Python

Azure BLOB商店是否支持拼花板柱投影和下推过滤器/谓词

IV‘我已经阅读了一些关于镶木地板格式以及Spark如何与其集成的内容。 作为列式存储,parquet really shines只要Spark可以与底层存储协作,就可以执行投影,而不必加载所有数据,并指示存储根据各种统计数据加载特定的列块(当涉及筛选器时)。 我看到lecture on youtube(21:54)警告对象存储不支持下推过滤器(特别是以Amazon S3为例)。 ..
发布时间:2022-07-19 22:57:40 其他开发

Azure DocumentDB与每个用户多个PDF文件的Blob存储

我正在开发我的第一个应用程序,作为一个学习项目,我做了所有的事情: 客户端前端(角度) 后端(OWIN自托管,ASP.NET Web Api 2) 数据库和托管(Azure部署) 到目前为止,这是一个学习过程,我已经在我的应用程序中使用令牌完成了登录/注册授权,但我使用身份框架和Azure SQL DB(存储在为我创建的dbo.AspNetUser表下)存储我的用户凭据。 为 ..

Azure Blob源错误:远程服务器返回错误:(400)请求错误

我已在SSIS中创建数据流任务并配置Blob存储容器。我要处理从Azure Blob到SQL服务器的请求。我收到远程服务器返回错误:(400)执行SSIS时出现错误请求和异常。 我已验证Azure中的连接和访问。 execution error No debug error 推荐答案 @meena 您需要将两个注册表项添加到Windows注册表 若要使用TLS ..
发布时间:2022-06-29 13:13:38 其他开发

Azure Blob列表分页

我的容器中有3000个文件。在我的网格视图中,我显示了容器Blob的列表,但3000太多了,不利于性能(我的想法是:)。 我需要一个分页代码,例如我的网格页面大小是50,我将在我的容器中为我在网格视图中的第一个页面显示前50个斑点。当然,我需要在页面索引中更改更多代码:) 或者它不会影响性能? 推荐答案 根据您的描述,我建议您尝试使用Azure存储SDK的ListBlobs ..
发布时间:2022-06-29 13:05:48 其他开发

在Python中从Azure BLOB存储中读取文件

我在读取Blob存储中的文件时遇到问题。 我的文件上只有文本。 例如,我想从我的文件中获取信息 我的文件 {......} Ant我想像这样获取变量s = {......} 我像这样在Blob存储字符串中上传。 blob = BlobClient.from_connection_string(conn_str="DefaultEndpointsProtocol=ht ..
发布时间:2022-06-29 12:52:08 Python

C#Azure AppendBlob AppendBlock添加大于4MB限制的文件

我找了又找,没有找到任何示例。 我正在使用C#.NET Core中的Azure.Storage.Blobs Nuget包。 以下是我当前的代码无法工作的示例。 我得到一个状态:413(请求正文太大,超过了允许的最大限制。) 搜索似乎表明存在4MB的限制或100MB的限制,但我不清楚,但我认为追加Blob的限制为4MB,Block Blob的限制为100MB。 var ..
发布时间:2022-06-29 12:31:23 C#/.NET

具有Azure Blob存储操作的Azure Logic应用程序:获取429状态代码错误

我正在使用具有Azure Blob存储触发器的Azure Logic App。 在Azure存储中更新或修改Blob时,我从存储中提取创建或修改的Blob的内容,对数据进行一些转换,然后使用LogicApp的Create Content-Azure Blob Storage操作将其作为新的Blob内容推送回Azure存储。 随着大量Blob被插入(例如10000个文件)或更新到Blob ..

错误:Azure Logic应用程序在读取Azure Blob存储|状态400时引发错误-指定的资源名称包含无效字符

从逻辑应用程序,我正在尝试连接到Azure Blob存储并使用Path";获取Blob内容。 目标是从Blob存储中获取文件并将其附加到电子邮件中。 文件是EXCEL文件。但在该步骤中给出了以下错误。 请注意,文件名全部为小写,容器名称也为小写,不带任何字符。 但收到错误 数据-lang=“js”数据-隐藏=“假”数据-控制台=“真”数据-巴贝尔=“假”> { ..

如何判断Microsoft Defender是否已扫描Blob(无病毒的Blob)

我正在研究将Microsoft Defender for Cloud与Blob Storage一起使用。 理想情况下,我希望: 上传到存储 安装Defender for Cloud Scan for Virus 如果有问题,请将其删除 如果没有问题,请进一步处理。 步骤3很简单。Workflow automation并且很容易触发此类事件。 我不能解决的问题是:如果扫 ..

Azure Logic应用程序:文件在通过http发送时损坏

我正在使用逻辑应用程序调用ConnectWise文档API来将图像、PDF、电子邮件等附加到票证。我可以通过邮递员直接呼叫终结点,一切正常,当我尝试在Logic Apps中复制请求时,看起来一切正常,但当我得到最后的文件(附在我的ConnectWise票证上)时,图像、EXCEL表格、任何损坏的东西都会被破坏。文本附件以某种方式工作。 逻辑应用程序侦听邮箱,因此我一直在提取附件并上传到BLO ..
发布时间:2022-05-18 19:50:56 其他开发

如何从Azure Python函数BLOB输入绑定中读取拼图文件?

我有一个带有BLOB输入绑定的python函数。有问题的斑点包含镶木地板文件。最终,我希望将绑定的Blob读取到 pandas 数据帧中,但我不确定执行此操作的正确方法。 我已经验证了绑定设置正确,并且能够成功读取纯文本文件。我很高兴拼花文件的完整性是好的,因为我已经能够使用这里提供的示例来阅读它:https://arrow.apache.org/docs/python/parquet.ht ..
发布时间:2022-05-11 23:19:55 Python