使用Azure数据工厂将数据发布到REST API
我正在尝试设置Web Activity以将数据从Azure Data Lake Gen 1发布到REST API服务，执行了在此link中执行的类似设置，但由于错误‘Missing file’而无法成功。 示例cURL请求-尝试邮递员时成功 curl --location --request POST 'https://xxxx/files' --header 'X-API-TOKE
..
azure-data-factory相关内容
在数据工厂中使用JSON为每个循环馈送
Data Factory新手，我遇到了以下问题： 我有一个调用API并返回以下JSON的Web活动： { "ResponseCode": 200, "ResponseText": "OK", "Data": { "ramco_purchaseordershipment": "ramco_purchaseordershipment", "ramco_ramco_payme
..
如何在Azure数据工厂中声明词典？
有没有一种简单的方法来声明字典或将SQL结果(查找活动)转换为字典？ 示例： SQL查找响应： { "Id": "12313ased", "Name": "john" }, { "Id": "123dsada", "Name": "doe" } 我想要的： Dict("12313ased": "john", "123dsada", "doe")(或Azure数据工厂最
..
从COSMOS数据库批量删除记录的Azure函数
我计划(在Azure数据工厂管道之后)从Cosmos DB容器中批量删除一些记录，给出特定的字段标准。 我想运行Azure功能的方式是通过HTTPS触发器，但我不知道运行批量删除是否可行，如果可行...你有这样的例子吗？ 提前谢谢您 推荐答案 目前无法对Cosmos容器执行批量删除或截断。通常，现在大多数人这样做的方式是删除容器，然后重新创建。这避免了删除每个项目的RU/s成本。
..
如何在Azure数据工厂中将HH：MM：SS转换为总秒数
在Azure Data Factory中，如何将"；hh：mm：ss"；转换为总秒数。 在添加动态内容&部件中，我要使用Azure Data Factory中的"；@Activity(‘dataflow’).Duration"；来获取我当前活动的持续时间。但是，我发现"；@Activity(‘dataflow’).Duration"；格式为&quo
..
ADF-如何将包含多个工作表的Excel工作表复制到单独的.csv文件中
我当前有一个包含多个工作表(超过11个)的Excel文件。此Excel文件当前位于远程文件服务器中。我正在尝试使用Azure Data FactoryV2复制Excel文件，并在ADLS Gen2文件夹中将每个工作表拆分为其自己的.csv文件。这是因为并不是每个选项卡都有相同的架构，我希望以后只选择有效的。 我目前有一个ADF数据集，它正确地指向Excel数据集，并使用@Dataet.Sheet
..
Azure数据工厂复制数据速度很慢
源数据库：托管在Azure VM D16s_v3上的PostgreSQL 目标数据库：托管在Azure VM d4s_v3上的SQL Server开发人员版 源数据库大小约为1TB 目标数据库为空，现有架构与源数据库相同 吞吐量仅为1Mb/s。没有任何帮助。(我已选择最大DIU)此时SQL Server没有任何键或索引。 批次大小为10000 查看截图： 推荐答案 我
..
如何使用ADFS表达式生成器提取两个字符之间的字符串？
我正在尝试使用ADF表达式生成器中的表达式提取文件名的一部分。我尝试提取的部分大小是动态的，但始终显示在“_”和“-”之间。 如何开始执行此提取？ 谢谢！ 推荐答案 假设有一个名为FileName的管道参数，您可以使用下面的表达式来提取‘_’和‘-’之间的值，例如输入‘ab_cd-’，您将得到‘cd’作为输出： 数据-lang=“js”数据-隐藏=“假”数据-控制台=“真
..
Azure Data Factory AWS PostgreSQL RDS作为源连接
我正在尝试使用AWS PostgreSQL RDS实例作为数据工厂管道的源。我无法在ADF v1或v2中使用此连接。我尝试了所有方法，从使用PostgreSQL连接到用于PostgreSQL的Azure数据库。从本质上讲，我将实现云到云，但这种连接似乎还不受支持。还有谁幸运地做到了这一点？ 推荐答案 是的，正如您所发现的，这是严重损坏的。两个主要问题： 1)您必须安装NpgSQL 2
..
是否使用Copy Foreach循环重命名Blob文件夹？
我的Blob中有一个拼图文件层次结构，存储为 yyyy/MM/dd/yyyy_MM_dd_hh_mm_ss_[source].parquet dd文件夹在24小时内包含多个文件，每小时至少一个。 文件夹间的示例： 2018/04/01/2018_04_01_06_37_14_ABCXYZ01.Parquet 2019/10/03/2019_10_03_21_52_34
..
从REST API获取数据并将其存储在Azure Data Lake中
从rest API获取数据并将其作为JSON存储在Azure数据湖中有意义吗？还是应该将数据直接存储到Azure SQL中？ 我已经尝试了这两种方法，但不清楚在哪种情况下将数据保存到Azure Data Lake是值得的。 推荐答案 是的，这是一种非常正常的模式，特别是在收集大量数据时。写入数据库是很棒的但至少有两个方面需要考虑： 写入时架构-您必须在写入数据库之前知道架构
..
将数据流参数传递给Azure数据工厂中的Sink Key列
我想实现SCD类型2逻辑，但使用动态表和来自配置表的动态键字段，我遇到了一个挑战，要将数据流参数作为我的Alter Row活动的Sink Key列传递，它没有采用参数值，并且总是将错误作为无效的键列名称给出，我尝试为Sink Key列处的表达式构建器选择Dataflow参数，并尝试传递来自Alter Row转换的值，我还在SELECT语句中使用参数命名了该字段，任何帮助或建议都非常感谢 请点
..
如何在数据工厂表达式中替换CR和LF
似乎没有明确的答案，我使用的是映射数据流和派生列表达式。我有经过的数据，其中包含空格、回车符和换行符，我不想用任何内容来替换它们。例如： Jenny Mc Carthy - 15 Somewhere Road Someplace SomePostcode SomeCity 这是列：名字/姓氏/地址。我希望是： JennyMcCarthy-15SomewhereRoadSomep
..
如何在Azure集成运行时计算机上安装ODBC驱动程序？
下面的链接说明使用Azure数据工厂复制数据源的先决条件是在Azure运行时环境中安装ODBC驱动程序。 https://docs.microsoft.com/en-us/azure/data-factory/connector-odbc 但是，我找不到任何记录如何做到这一点的内容。我预计很多很多人要么已经这么做了，要么需要这些信息。这是在Windows服务器上的一个简单练习。我有我在
..
通过ARM模板部署的Azure数据工厂
我部署成功。该管道具有将CSV文件从链接的存储帐户复制到链接的Azure SQL数据库的复制步骤。 部署的版本失败并返回错误2012，值不能为空。参数名称：DICTIONARY；. 我可以手动重建副本，它工作得很好，但我无法确定如何修复我的模板。我已经尝试导出成功的运行并通过{}查看代码，但到目前为止还没有成功。 推荐答案 在链接的AzureSql数据库服务中，typePropert
..
是否使用Azure数据流中以前的非Empty值自动填充列中的空行？
Excell中可能会发生类似的情况，因此是否可以在Azure数据流中执行此操作？ 示例： 类型 评论 值 A 值2 1 A 值5 B 值8 A 值2 A 值5 2 B 值8 C 值2 3 A 值5 B 值8 4 最终： 类型 评论 值 A 值2 1 A 值5 1 B 值8 1 A 值2 1 A 值5 2 B 值8 2 C 值2 3 A 值5
..
Azure Data Factory SFTP源请检查该路径是否存在。如果您配置的路径未启动
您好，我收到以下错误... 如果我像ASN那样执行通配符，以便在执行for循环时查找文件列表并在复制活动(源)中传递每个文件名，则获取元数据工作得很好 错误代码=SftpPath NotFound，‘Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException，消息=无法找到sftp路径’/Receive/INX_XXX
..
如何使用Azure数据工厂服务的Web活动将实体插入Azure存储表
我在存储帐户中有一个表。我想做一个测试，在这个链接(https://docs.microsoft.com/en-us/rest/api/storageservices/insert-entity)的指导下，使用Web活动将一个实体插入到这个表中。 我还尝试在Web活动设置中使用以下格式为我的共享密钥创建标题(https://docs.microsoft.com/en-us/rest/api/sto
..
Cosmosdb SQL如何列出所有容器？
如何在此列出所有集装箱？我想在Azure Data Factory的查找活动中使用它。 推荐答案 @Kyaka，无法使用Azure数据工厂中的Lookup活动列出容器，因为CosmosDB链接服务需要传递集合名称。您可以尝试从Azure函数调用REST端点-https://{databaseaccount}.documents.azure.com/dbs/{db-id}/colls，并
..
如何在Azure数据工厂中为Until活动设置表达式？-字符串不匹配
我正在尝试在ADF中执行Azure持久函数。 我让"；Get Current Function Status&Quot；Activity Inside to Activity。 可能的值为挂起、已完成、正在运行和异常。 我希望执行到runtimeStatus完成或达到异常。 是否可以按照以下方式进行操作，还是应该创建标志变量？ 我尝试设置表达式，但获取的警告字符串与： 不匹配
..