talend相关内容

Talend 10 GB输入和查找内存不足错误

我是Talend的新手，他试图将一个简单的过程从现有ETL迁移到Talend ETL.流程本身就是 输入文件-> tMap(很少的字符串操作和查找)->写入输出 查找文件具有3列(长，1个字符字符串，2个字符字符串).长值是关键.输入和查找文件的大小(每个文件约10GB).服务器规格是运行Linux的16核(2.9GHz)64GB RAM 8GB交换空间. 我以30g，45g，5 ..
发布时间：2020-05-04 04:01:30 其他开发

Talend上的JSON反序列化

试图弄清楚如何在talend组件中反序列化这种json: { "ryan@toofr.com": { "confidence":119,"email":"ryan@toofr.com","default":20 }, "rbuckley@toofr.com": { ..
发布时间：2019-11-26 20:56:15 JavaScript

Talend-基于从列表中获得的值的URI

我需要基于从提供JSON的Web服务获取的值来提供MongoDB中的集合，但是由于某些Web服务的URI依赖于可以从其他Web服务获取的值，因此我在安装作业时遇到了麻烦. 例如，URI http://172.31.15.180:80/ws/getAgenciasUF/52使用以下格式提供带有集合的JSON: { "COD_AGENCIA", "521800300", "NAME", "POR ..
发布时间：2019-11-26 19:00:57 JavaScript

Talend的JSON解析器

我需要一些帮助，以设计一种策略来解析Talend作业(Java作业，而不是Perl)中的JSON文档.我正在使用Talend版本:5.0.2，并在Mac上进行开发，并计划在Linux机器上运行. 不幸的是，由于文件格式的原因，我无法使用tFileInputJSON组件-每个文件包含数百个JSON文档，而完整的JSON文档占据了文件中的一行.我认为正确的解决方案是逐行读取文件，然后将其传递到J ..
发布时间：2019-11-23 18:51:07 Java开发

从安装在SVN上的talend studio导出Talend项目，并从Jenkins进行构建

嗨，我正在使用talend open studio 5.5.我想导出人才工作并放入SVN.它包含以下文件. 1)过程 a).items b).properties 我想以此来构建talend作业，并创建在talend open studion中创建作业时创建的jar，bat和sh文件. 解决方案 系列解释了如何使用Talend命令行工具从工作室外部构建作业.它可以编写脚本，因此可以从 ..
发布时间：2019-09-02 20:24:36 其他开发

通过JDBC连接到Talend中的OpenEdge

在"Talend数据集成"中，我想使用JDBC创建到Progress OpenEdge数据库的连接.我对这种连接没有任何经验. 我到相同资源的ODBC连接工作正常，但是Talend需要JDBC连接才能正常运行. 我目前在Talend中的连接设置为: 数据库类型:常规JDBC JDBC URL:jdbc:sqlserver://db-name:port; databaseName ..
发布时间：2019-09-02 13:45:08 Java相关

带有args的Java程序，用于在Talend中实现

我被要求编写一个Java程序，它将TSV文件作为inpunt并生成一个不同的TSV文件（在其中有很多变化，在输入和args上变化很大）作为输出。 这是一个非常大的程序（花了3天时间编写代码，但我不是很好），它最终处理来自15k行的输入，产生1500K行输出。 编写代码后，我不知道我之后必须在Talend中实现它，所以它是一个普通的Java程序需要4个args：输入文件的名称，Name输 ..
发布时间：2019-01-02 10:56:35 Java开发

如何使用Talend Open Studio数据集成创建属性文件？

我曾经使用过Talend Open Integration studio来创建作业并从IDE运行它或将其导出为可执行jar文件。但我没有广泛使用它。 是否可以创建一个包含不同服务器名称和其他变量的外部配置文件，以便在创建我的Talend作业的可执行jar文件后，我可以更改配置文本文件并选择不同的数据库服务器或端口选项？ 我也使用了MuleSoft一点点，所以如果有人知道如何使用MuleSo ..
发布时间：2018-12-17 09:49:04 Java开发

在Talend中使用tHiveRow组件运行多个配置单元查询

您好，我想通过一个组件来调用多个配置单元查询。通过tHiveRow，我可以运行单个查询，但无法同时运行多个查询。 我知道我们可以通过以下链接运行多个sql查询 http://www.vikramtakkar.com/2013/05/example-to-execute-multiple-sql-queries.html 但是任何人都有任何想法可以运行多个查询？ 解决方案 您的链 ..
发布时间：2018-06-12 14:01:42 其他开发

在导入数据存储备份时，大量查询加载失败，并显示错误字符（ASCII 0）

这可能看起来像已经讨论的情况。我正尝试使用Talend tBigQueryBulkExec组件将Google App Engine DataStore备份加载到BQ中，该组件与BQ Shell CLI的作用相同。它连接到BQ并尝试从GCS读取文件并移动到组件设置中给定的定义的Dataset.Tablename。 错误消息： location“：”File：0 / Line：8 / Fi ..
发布时间：2018-05-07 17:43:07 其他开发

使用Talend的FTP，只获取最新的文件？

我有一个Talend作业，我需要从sFTP服务器上拉下一个XML文件，然后处理成Oracle数据库。 XML提取的日期在文件名中，例如“FileNameHere_Outbound_201407092215.xml”，我相信它是yyyyMMddhhmm格式。所有文件的“FileNameHere”开始部分相同。我需要能够从文件名的末尾读取日期，并只从服务器上拉下那个日期来处理。 我不确定如何用F ..
发布时间：2018-04-13 13:56:53 Java开发

Talend Open Studio中的编码问题

我正在一个Talend项目工作，我们正在将数据从1000的XML文件转换为CSV，我们正在从Talend本身创建UTF-8的CSV文件编码。 但问题是一些文件被创建为UTF-8，其中一些创建为ASCII，我不知道为什么会发生这种情况。文件应该始终以UTF格式创建。 'DIV CLASS =“h2_lin”>解决方案 要强制了Talend获得一个文件，如你所愿，你可以将附加列添加到您的文件 ..
发布时间：2017-08-17 02:53:48 开发方法

具有动态配置的自定义组件，如jira，jdbc或azurestorage

我想用动态配置创建一个Talend组件。我试过各种来源来实现，但没有运气， apprach我以前尝试过，但是我无法将组件与插件相链接，它总是给出错误 失败加载组件 那么我正在尝试创建像azure存储这样的插件，我从 talend组件与动态配置 我开发了新的组件，如天蓝色存储，并试图在 $ b中注册$ b C：\Users\sandy\Documents\talend\TOS ..
发布时间：2017-08-01 22:54:38 Java开发

消除重复项并插入具有最大值的唯一记录。通过Talend存在的列值

我有一个excel文件，每天更新，即每次数据总是不同 我将使用 Talend 将Excel表格中的数据拉入表格。我在表格中定义了一个主键 Company_ID 。 我所面临的错误是Excel表单很少重复 Company_ID 值。它将会随着Excel文件的每日更新而获得更多重复的值。 我想选择第一个记录，其中公司ID 字段为 1 ，其余列中的记录不为空。另外，对于 Company ..
发布时间：2017-07-21 19:29:45 其他开发

使用java.text.SimpleDateFormat解析可能的单位数月/日/小时

在使用Talend Open Studio（一个开源代码生成ETL工具）的项目中，我收到错误的解析传入日期字符串，如“3/14/1967 0:00:00”（数字月份）。 挖掘到 代码，我可以看到它正在使用 java.text.SimpleDateFormat 。所以我期望我需要使用的日期模式字符串是“dM-yyyy H：mm：ss” ...但它不断给我错误，如“不可抛弃的日期：3/14/19 ..
发布时间：2017-04-15 12:35:59 Java开发

不可稀疏的日期错误 - Talend

我正在尝试将数据从Excel复制到SQL表。 我有使用RAND函数在Excel文件中生成的日期。我将它们作为输入中的字符串，并尝试使用tConvertType在日期数据类型中转换它们。 我已经将其数据类型设置为初始输入中的“string” tConvertType的输出和tMSSqlOutput中的'date'。 我的工作有工作流Excel输入 - > tConvertType ..
发布时间：2017-04-08 20:27:16 其他开发