azure-batch相关内容

Azure 批处理池下的 RelativeMountPath

我需要为 RelativeMountPath 提供什么值才能将文件共享装载到具有 Windows 计算节点的批处理池? https://docs.microsoft.com/en-us/dotnet/api/microsoft.azure.management.batchai.models.azurefilesharereference.relativemountpath?view=azur ..
发布时间:2021-06-03 21:17:45 C#/.NET

使用Azure Batch作为Jenkins的节点

我有一个Jenkins服务器,该服务器与其他计算机作为节点运行良好.我也有一个Azure Batch帐户和一个工作池.有没有办法将两者连接在一起,以便将Jenkins任务发送到Azure批处理池? 到目前为止,我只找到了这个 https://github.com/Azure/batch-jenkins 是用于并行执行测试的构建后插件,这不是我想要的.我只需要向Azure发送命令行. 谢 ..
发布时间:2021-04-13 20:07:01 其他开发

Azure批处理服务任务退出代码错误

我下载了.NET教程示例以开始使用Azure Batch. 我的目标是使Web api调用自动化(每2分钟运行一次)并将返回的数据存储到数据存储容器中. 问题是我正在池中的节点(VM)上执行的任务返回失败,确切的错误是“该任务已退出,并带有表示失败的退出代码". 因此,我继续打印了导致失败的错误退出代码.退出代码是-1073741819.但这告诉我什么????我在网上找不到任何可 ..
发布时间:2021-04-13 20:02:00 C#/.NET

是否可以使用需要映像计划的自定义映像创建Azure批处理池?

我创建了一个Azure批处理池,该池配置为从我创建的自定义VM映像分配VM.自定义VM映像基于需要映像计划的“来自NVIDIA的PyTorch". 当池尝试分配节点时,它会由于以下错误而失败: 部署分配失败,因为请求中缺少图像计划信息.您需要基于不需要图像计划的第一方图像创建自定义图像. 似乎有可能使用此链接. 是否可以使用需要映像计划的自定义VM映像创建Azure批处理池? ..
发布时间:2021-04-13 19:56:09 其他开发

如何在任务执行期间(实时)更新stdout.txt?

我正在使用Azure Batch执行具有不同步骤的过程,该过程是使用Python编程的.我想在Azure Batch的 stdout.txt 文件中记录我的过程所在的步骤. 到目前为止,我正在打印我所处的步骤.完成批处理任务后,打印内容将显示在 stdout.txt 中.但是,我找不到实时更新 stdout.txt 文件的方法. 例如,假设我有以下代码片段: print(“步骤1" ..
发布时间:2021-04-13 19:53:55 其他开发

天蓝色批量服务中的定期stdout和stderr

我正在azure数据工厂中运行管道,并且正在使用自定义单元来运行azure批处理活动. 我运行的天蓝色批处理作业确实很大,我想监视我处于该作业的哪个阶段.在远程VM上,我通常使用 python 中的 logging 模块执行此操作. 完成后,我可以获取作业的状态(即所有日志记录信息),但是我想在运行作业时获取它. 我该怎么做? 解决方案 批处理会自动将stdout/std ..
发布时间:2021-04-13 19:49:13 其他开发

VM Scaleset与Azure Batch

VM规模集可用于根据业务需求创建多个VM,此外,Azure批处理还可用于在多个VM中执行作业. Azure Batch和VM Scale set的确切区别是什么? 解决方案 Azure Batch是一种平台即服务产品,具有用于计划,提交任务和获取结果的完整平台.作业和任务是使用节点池提交的.节点池可以由VMSS计算资源组成. 鉴于此,VMSS是一种基础架构即服务,可为任何预期目 ..
发布时间:2021-04-13 18:59:36 其他开发

在Azure Blob存储中生成ZIP文件

压缩AZ blob存储中存在的大文件并将其下载到存档文件中的最佳方法是什么(zip/rar)使用天蓝色批次可以帮助吗?当前,我们以传统方式实现此功能,我们读取流以生成zip文件并返回结果,但这会占用服务器上的大量资源和用户时间.我在询问最佳的技术解决方案(使用Microsoft技术的首选方式) 解决方案 只有几种方法可以从仅蔚蓝色的批处理角度实现此 **** :( 最初的部分用户代码应该拥 ..

Azure批处理任务依赖项:复制以前的文件

我有一个Azure批处理方案,其中有一系列任务彼此接连运行.依赖关系设置正确,因此它们可以很好地相互运行. 但是,在执行之前,我需要将所有文件从先前任务的文件夹复制到新任务的文件夹.我事先不知道会有多少个文件,所以我只想复制所有内容.我找不到使用批处理客户端库( https://docs.microsoft.com/zh-cn/dotnet/api/overview/azure/batch? ..
发布时间:2021-04-02 18:52:59 C#/.NET

Azure批处理池启动任务以从Blob FileShare下载资源文件

我是Azure的新手,我正在尝试在此处构建一个简单的Azure批处理案例. 我正在堆积“批处理池启动"任务... 我在美国东部创建了一个批处理帐户和一个存储帐户,然后在带有容器的存储帐户中创建了一个常规文件共享.我手动更新了一个名为Test.txt的文件. 我要做的是在启动任务时要求批处理池下载此文件. 所以代码去了: string storageConnection ..
发布时间:2020-07-07 19:01:31 其他开发

Azure批处理帐户静态IP地址

我需要为池中的Azure Batch节点设置一系列静态远程桌面ip地址.考虑到该节点有时会进入和退出池,这是否有可能? 我已经查看过文档,但是没有运气.这有可能吗?如何配置? 解决方案 更新后的答案2019-09-09: 现在,您可以指定通过Azure资源管理器(ARM)设置的静态公共IP,作为基于VirtualMachineConfiguration的池分配的一部分.请参阅“ ..

Azure Batch-设置任务的自定义用户身份

我正在使用Azure Batch C#客户端API 6.1。我正在尝试使所有运行都使用相同的用户身份。 我正在按照 MSDN 文档。 var task = new CloudTask(“ {guid}”,“ command string”) { DisplayName =“显示名称”, UserIdentity =新的UserIdentity(“ customUserid”) ..
发布时间:2020-06-06 19:58:04 其他开发

如何使用MSI身份验证而不是提供客户端ID和客户端密钥来获取批处理服务和管理的访问令牌?

我正在创建C#Azure函数,并且正在使用客户端ID,客户端密钥和租户ID获取访问令牌,以在批处理服务和管理上进行操作。我可以使用MSI身份验证来获取访问令牌。 我正在使用以下API: 列表订阅-获取https://management.azure.com/subscriptions?api-version=2019-06-01 ( docs ) 列出来自的批处理帐户订阅ID:获取h ..
发布时间:2020-06-06 19:58:01 C#/.NET

Azure批处理-在Linux VM上从命令行运行多个命令

在一开始,我使用以下配置创建了一个池: “ Publisher”:“ microsoft-ads” “提供”:“ linux-data-science-vm” “ Sku”:“ linuxdsvm” 然后我要复制“ start.sh”文件并在VM上运行。 因此,我需要更改权限,以允许执行start.sh,然后再执行它。 chmod + x start.sh&& . ..
发布时间:2020-06-06 19:57:57 服务器开发

Azure批处理作业如何将大文件拆分为较小的文件

想使用Azure批处理作业处理大文件,但无法弄清楚我将大文件分割为较小文件的方式和位置,以及如何将其传递给Task以便不将同一文件传递给任务 解决方案 您可以使用 JobManager任务即可完成此任务。 JobManager任务可以拆分大文件,将较小的文件上传回Azure存储,并让JobManager任务启动处理这些较小文件的任务。 ..
发布时间:2020-06-06 19:57:51 其他开发

Azure批处理NodeFiles到Blob Stotage

我正在Microsoft Azure Batch Services上运行“任务”,其中每个任务都会在节点上创建一组文件。我必须将这些文件复制到Blob存储中。 任务是通过不属于批处理池的vm创建和管理的。 我能够访问节点文件,并且可以将内容写入blob存储,但是这意味着我在驱动vm上以字符串形式获取文件并将其上传到blobstorage。 var container = Blo ..
发布时间:2020-06-06 19:57:45 其他开发

无法在Azure Batch上运行任务:启动后节点进入不可用状态

我正在尝试使用Azure Batch并行化Python应用程序。我在Python客户端脚本中遵循的工作流程是: 1)使用 blobxfer将本地文件上传到Azure Blob容器实用程序(输入容器) 2)在使用服务主体帐户和azure-cli登录后,启动批处理服务以处理输入容器中的文件。 / p> 3)通过使用Azure Batch在节点上分布的python应用程序将文件上传到输出容 ..
发布时间:2020-06-06 19:57:38 其他开发

将任务添加到正在运行的Azure批处理作业并手动控制终止

我们有一个Azure批处理作业,它使用一些非常大的文件,这些文件是异步上传到Azure Blob存储的,这样我们就不必等待所有文件上传就可以开始由一组集合组成的批处理作业。将处理每个文件并生成输出的任务。到目前为止一切都很好-一切正常。 我希望能够创建Azure任务并将其添加到现有的运行Azure作业中,从而增加了长度任务列表中的内容,但我找不到执行该操作的方法。似乎Azure希望您在任务开 ..
发布时间:2020-06-06 19:57:33 其他开发

从Azure功能访问Azure批处理

我正在尝试使用服务原理从Azure功能访问批处理池,并遇到我不了解的身份验证问题。最初使用服务原理登录可以正常工作,但是使用凭据访问批处理池将返回401。 下面是我的代码的精简版,带有注释:关键点 module.exports.dispatch =函数(上下文){ MsRest.loginWithServicePrincipalSecret( 'AppId','Secret', ..
发布时间:2020-06-06 19:57:30 其他开发