etl相关内容

按数据流任务中的映射选项卡而不打开解决方案(&Q)

我有一些带有一些变量的模板形式的SSIS包,我想自动化我的ETL表。我无法使用BIML,因为它不在VS市场中,而且我无法从Internet下载它。 我的变量由目标表名和源表名称等组成。我使用PowerShell脚本更改变量的值,并使用CREATE TABLE语句创建目标表。 我的问题是我需要按数据流任务中的映射选项卡。是否有方法可以在不打开解决方案的情况下自动执行此操作? 我已经 ..
发布时间:2022-08-08 20:48:34 数据库

在Kubernetes集群的特定节点上有条件地启动Spring Cloud任务

我正在构建用于批处理的数据管道。我发现使用Spring Cloud DataFlow是一个非常吸引人的框架。由于对SCDF和Kubernetes了解不多,我不确定是否可以在特定机器上有条件地启动一个Spring Cloud任务。 假设我有两台用于运行批处理的物理服务器(服务器A和服务器B)。默认情况下,我希望我的Spring云任务在服务器A上启动,如果服务器A关闭,任务应该部署在服务器B上。Ku ..

未注册SSIS自定义任务以在此计算机上使用错误

我正在设置一台新笔记本电脑(Win10,旧的是Win7)。在我的商店,我们在大多数SSIS包中使用自定义任务。当我使用此任务打开现有包时,收到错误: 标题:Microsoft Visual Studio 名为“Log Start Event”和创建名称的任务 “TBSM.Vision.SSIS.LoggingTask.VisionLoggingTask, TBSM.Vision.SSIS. ..
发布时间:2022-07-03 21:36:48 数据库

一次循环10条记录并将其赋值给变量

我有一个包含900条记录的表。 我想一次获得10条记录,并将其分配给变量。 下次我在SSIS中运行For Each循环任务时, 它将循环另外10条记录并覆盖变量。 我们将非常感谢您的帮助。 我有这样的桌子,例如 EMPID 0001 00045 00067 00556 00078 00345 00002 00004 00005 00006 00007 00008 这是要我试过执行S ..
发布时间:2022-07-03 21:28:33 数据库

使用SSIS表达式在中分解全名以分隔字段,最后一个中间

我有一个全名字段,其数据格式为 姓名字中间名 某些数据没有中间名,因为它将只是 姓 还有一些数据在姓氏和名字之间有2个空格 姓 所有这些数据都在同一个字段中,我该如何使用SSIS表达式将这些数据拆分为3个独立的字段? 推荐答案 您在这里会有一段糟糕的经历,因为您会有像&los Santos Edwin Paul";这样的名字或许多多姓条件中的 ..
发布时间:2022-07-03 09:19:32 其他开发

如何将复制数据后的文件名/路径传递到ADF中的Azure函数

在当前管道中有一个复制数据步骤,该步骤将文件从sftp服务器复制到数据湖。 第二步是使用Azure函数处理新复制的数据。 因此,将文件名或文件路径传递给azure函数会更好。以便它可以从数据湖中读取/打开文件,并最终将处理后的数据存储在PostgreSQL中(在vNet内)。 例如,如何在正文中嵌入文件名或文件路径? 还有另一个选项使用BLOB存储/数据湖上的触发器。我稍微倾向于传递路 ..

DBT文档生成-如何为文档网站提供特定品牌

如何用DBT文档生成命令生成的网站页眉中的其他图像替换DBT徽标。 推荐答案 文档由一个index.html文件组成,该文件从项目文件(source)加载数据。 如果您编辑index.html文件,您将能够根据需要对其进行自定义。请注意,每次运行dbt docs generate时,文件都会被重新复制到您的目标文件夹中,因此您需要某种机制来将构件复制到新index.html`所在的位 ..
发布时间:2022-03-31 12:21:36 其他开发

如何使用SQL编写基本的ETL,而不在每次ETL运行时截断/加载?

我有一个OLTP数据库,我正在使用SQL(ETL)将其加载到另一个数据库中。为此,在第二个数据库数据库中,我基于事实和维度创建了星型架构模型。 技术:MS-SQL 事实:销售额 维度:客户、客户、代理 注意:源系统中没有修改日期字段,可以在源系统中删除行。 我有一个代理作业,它每15分钟运行一次,以执行以下操作:对于每个表,我将数据从OLTP数据库加载到相应的临时表中(对 ..
发布时间:2022-03-31 12:19:34 数据库

发送电子邮件的SSIS脚本任务未正确显示数据

我正在尝试查询数据库并发送电子邮件正文中的内容。内容是每个用户的订单和详细信息。我正在尝试调用一个脚本任务来撰写正文,并且我正在使用发送电子邮件任务中的内容。当我尝试运行程序包时,它执行时没有错误,但下面是我在电子邮件中看到的内容 Execute SQL task output sent using Send Email Task in SSIS: Customer Num Rec ..
发布时间:2022-03-31 12:17:33 C#/.NET

在SSIS EXCEL数据源中,不超过255个字符

我开发了SSIS包,可以将多个EXCEL文件导入到SQL中。现在的问题是“Excel数据源”检查前几行以确定数据类型,并将长度为255的文本数据类型作为我的备注列。 但在某些文件中,备注长度超过255个字符。 我查看了一些博客,他们说故意在第一行放置长文本作为备注,然后SSIS会确定数据类型为Unicode文本流。这解决了我的问题,但当其他文件再次导入数据类型时,更改为255个字符,并 ..
发布时间:2022-03-31 12:14:49 数据库

将两个源映射到目标SQL DB表

这是我的第一个SSIS包,如有帮助,不胜感激。我有一个需要插入Azure数据库的平面文件。我有来自平面文件的反汇编数据,该平面文件中的所有字段都需要映射到Azure DB表。平面文件具有以下字段,如 Azure SQL DB Customer表 平面文件中的所有字段都映射到Azure SQL DB表,在插入时,我需要将RoomID字段映射到另一个名为RM_Room的表 SELEC ..
发布时间:2022-03-31 12:12:33 数据库

尝试使用Oracle Connection Attune运行SSIS包时出现问题

我遇到以下问题: 我有一个SSIS包,它使用Attunity连接管理器连接到Oracle数据库。 它确实连接到我的本地PC(到远程Oracle数据库服务器)并解压,一切似乎都正常。 当我将其加载到SQL服务器以作为作业运行时,问题就出现了。 我已经运行了其他作业,所以设置是正确的,设置为以32位运行时运行,作为文件系统类型加载。 但当我尝试执行作业时,出现以下错误: ..
发布时间:2022-03-31 12:02:33 数据库