etl相关内容
我已尝试使用Pentaho 9.2运行作业,但在按厨房运行时未选择作业 ./itchen.sh-rep=repo1-file=/var/lib/jenkins/project/path/etl/Job1.kjb Job1.kjb包含多个子作业。Pentaho 9.2没有选择子作业并显示以下错误。 错误日志: 2022/03/02 05:00:28-作业1-作业执行开始 2022
..
我有一些带有一些变量的模板形式的SSIS包,我想自动化我的ETL表。我无法使用BIML,因为它不在VS市场中,而且我无法从Internet下载它。 我的变量由目标表名和源表名称等组成。我使用PowerShell脚本更改变量的值,并使用CREATE TABLE语句创建目标表。 我的问题是我需要按数据流任务中的映射选项卡。是否有方法可以在不打开解决方案的情况下自动执行此操作? 我已经
..
几周前我问了这个问题: "Pressing" the mapping tabs in the Data Flow Task without opening the solution 现在我可以使用以下代码在PowerShell中加载包对象: Add-Type -Path 'C:WindowsMicrosoft.NETassemblyGAC_MSILMicrosoft.SqlSer
..
我正在尝试从VS 2017安装SSIS code check Extension 我收到错误,因为 Prerequisites Missing : Identifier : Microsoft.Net.Component.4.5.1.TargetingPack Name : .NET Framework 4.5.1 targeting pack Ver
..
Don't forget me this weekend!
..
我正在构建用于批处理的数据管道。我发现使用Spring Cloud DataFlow是一个非常吸引人的框架。由于对SCDF和Kubernetes了解不多,我不确定是否可以在特定机器上有条件地启动一个Spring Cloud任务。 假设我有两台用于运行批处理的物理服务器(服务器A和服务器B)。默认情况下,我希望我的Spring云任务在服务器A上启动,如果服务器A关闭,任务应该部署在服务器B上。Ku
..
如何从日期时间变量中删除SSIS中的小时、分钟、秒和其他部分 如果我有像21 jul 2019 8:30:05这样的DateTime,我希望它作为21 jul 2019 00:00:00,但仍然作为DateTime而不是字符串 推荐答案 您可以使用派生列: (DT_DBTIMESTAMP)(DT_DBDATE)@[User::DateTimeVariable] 转换为D
..
我正在设置一台新笔记本电脑(Win10,旧的是Win7)。在我的商店,我们在大多数SSIS包中使用自定义任务。当我使用此任务打开现有包时,收到错误: 标题:Microsoft Visual Studio 名为“Log Start Event”和创建名称的任务 “TBSM.Vision.SSIS.LoggingTask.VisionLoggingTask, TBSM.Vision.SSIS.
..
我有一个包含900条记录的表。 我想一次获得10条记录,并将其分配给变量。 下次我在SSIS中运行For Each循环任务时, 它将循环另外10条记录并覆盖变量。 我们将非常感谢您的帮助。 我有这样的桌子,例如 EMPID 0001 00045 00067 00556 00078 00345 00002 00004 00005 00006 00007 00008 这是要我试过执行S
..
我有一个全名字段,其数据格式为 姓名字中间名 某些数据没有中间名,因为它将只是 姓 还有一些数据在姓氏和名字之间有2个空格 姓 所有这些数据都在同一个字段中,我该如何使用SSIS表达式将这些数据拆分为3个独立的字段? 推荐答案 您在这里会有一段糟糕的经历,因为您会有像&los Santos Edwin Paul";这样的名字或许多多姓条件中的
..
在当前管道中有一个复制数据步骤,该步骤将文件从sftp服务器复制到数据湖。 第二步是使用Azure函数处理新复制的数据。 因此,将文件名或文件路径传递给azure函数会更好。以便它可以从数据湖中读取/打开文件,并最终将处理后的数据存储在PostgreSQL中(在vNet内)。 例如,如何在正文中嵌入文件名或文件路径? 还有另一个选项使用BLOB存储/数据湖上的触发器。我稍微倾向于传递路
..
如何用DBT文档生成命令生成的网站页眉中的其他图像替换DBT徽标。 推荐答案 文档由一个index.html文件组成,该文件从项目文件(source)加载数据。 如果您编辑index.html文件,您将能够根据需要对其进行自定义。请注意,每次运行dbt docs generate时,文件都会被重新复制到您的目标文件夹中,因此您需要某种机制来将构件复制到新index.html`所在的位
..
我有一个OLTP数据库,我正在使用SQL(ETL)将其加载到另一个数据库中。为此,在第二个数据库数据库中,我基于事实和维度创建了星型架构模型。 技术:MS-SQL 事实:销售额 维度:客户、客户、代理 注意:源系统中没有修改日期字段,可以在源系统中删除行。 我有一个代理作业,它每15分钟运行一次,以执行以下操作:对于每个表,我将数据从OLTP数据库加载到相应的临时表中(对
..
我正在尝试查询数据库并发送电子邮件正文中的内容。内容是每个用户的订单和详细信息。我正在尝试调用一个脚本任务来撰写正文,并且我正在使用发送电子邮件任务中的内容。当我尝试运行程序包时,它执行时没有错误,但下面是我在电子邮件中看到的内容 Execute SQL task output sent using Send Email Task in SSIS: Customer Num Rec
..
我开发了SSIS包,可以将多个EXCEL文件导入到SQL中。现在的问题是“Excel数据源”检查前几行以确定数据类型,并将长度为255的文本数据类型作为我的备注列。 但在某些文件中,备注长度超过255个字符。 我查看了一些博客,他们说故意在第一行放置长文本作为备注,然后SSIS会确定数据类型为Unicode文本流。这解决了我的问题,但当其他文件再次导入数据类型时,更改为255个字符,并
..
这是我的第一个SSIS包,如有帮助,不胜感激。我有一个需要插入Azure数据库的平面文件。我有来自平面文件的反汇编数据,该平面文件中的所有字段都需要映射到Azure DB表。平面文件具有以下字段,如 Azure SQL DB Customer表 平面文件中的所有字段都映射到Azure SQL DB表,在插入时,我需要将RoomID字段映射到另一个名为RM_Room的表 SELEC
..
我有一个CASE语句可以用,但因为我必须在SSIS中执行,所以我感到困惑: SELECT [BPCNUM_0], TYPE, CASE WHEN [TYPE]=1 THEN 'Normal' WHEN [TYPE]=2 THEN 'Divers' WHEN [TYPE]=3 THEN 'Intra-Société' WHEN [TYPE]=4 THEN '
..
我的表源: 编号_制作 类型 活动 日期 1 1 1 2010-01-31 00:00:00.000 2 2 1 2011-01-31 00:00:00.000 3 3 2 2012-01-31 00:00:00.000 4 4 2 2013-01-31 00:00:00.000 列数据类型为: 列 数据类型 类型 tinyint 活动 tinyint 日期 日期时
..
我遇到以下问题: 我有一个SSIS包,它使用Attunity连接管理器连接到Oracle数据库。 它确实连接到我的本地PC(到远程Oracle数据库服务器)并解压,一切似乎都正常。 当我将其加载到SQL服务器以作为作业运行时,问题就出现了。 我已经运行了其他作业,所以设置是正确的,设置为以32位运行时运行,作为文件系统类型加载。 但当我尝试执行作业时,出现以下错误:
..
我要从SQL Server表中检索最新日期。 在执行SQL任务的&q;中,我有以下SQL语句: SELECT ? = MAX(MYDATE) --SQL data type of this column is datetime FROM TBLLOG WHERE COMPLETED = 1 在参数映射部分下,我添加了1个输出参数: 变量名:User:var_testdt(注意
..