spring-xd相关内容

处理多条消息

我有一个 spring xd 源模块,它从 s3 中提取文件并逐行拆分.我的 spring 配置如下.但我有 3 个容器和 1 个管理服务器.现在我看到每个容器正在处理重复的消息他们每个人都在那里下载自己的副本.我可以通过将源 s3 模块部署计为 1 来解决,但我的消息处理速度变慢了.?有任何输入可以解决这个问题吗? ..
发布时间:2021-08-20 20:41:03 其他开发

Spring Cloud 数据流中的 Kafka 源

我正在从 Spring XD 迁移到 Spring Cloud Data Flow.当我在寻找模块列表时,我意识到 Spring Cloud Flow 中没有列出一些源——其中之一是 KAFKA 源. 我的问题是为什么 KAFKA 源从 Spring Cloud 数据流中的标准源列表中删除? 解决方案 当我在寻找模块列表时,我发现一些源没有在 Spring Cloud Flow ..

SpringXD:流中模块之间相同类的ClassCastException

我有一个自定义的Spring XD源模块,该模块将Spring Social用于Twitter并输出Tweet对象.这很好用.我可以记录源的输出并查看列出的Tweet对象.我可以将该流的源输出类型更改为application/json,以查看JSON的输出.这可以按预期工作. 然后,我创建了一个处理器模块,该模块将从该Tweet创建一个新对象并将其输出.转换消息需要一个包含Tweet对象作为 ..
发布时间:2020-07-25 19:41:57 其他开发

Spring-XD的未来

我听说有传言说Spring XD失去了开发动力,并将重点放在Spring向云服务的转变上.由于我正在考虑XD(我认为的另一项目标是Apache Beam,虽然还不够成熟,恕我直言),所以我希望获得一些有关XD未来的事实/发布计划,而不是依赖谣言. 解决方案 Spring XD主页在页面底部有一个公告: 公告 基于 Spring Boot 和 Spring Cloud Data ..
发布时间:2020-07-09 05:20:05 其他开发

Spring -XD Stream部署失败

我正在尝试部署两个spring-XD流.流1和流2.这两个流都已在本地框(单节点)中很好地部署,但是当我尝试在更高环境(分布式节点)中部署它时,流2已被成功部署,但流1没有成功. 这是流定义 流-名称测试定义"CustomSource |自定义处理器1 |自定义处理器2 |自定义处理器3> queue:TestQueue" 以下是我在管理日志中看到的错误. 我相信这是从sprin ..
发布时间:2020-07-09 04:54:03 其他开发

使用http-client处理器从SpringXD将http请求标头传递给RestAPI

我正试图从我的http客户端处理器模块中找到一个休息api。 我想知道如何将请求标头发送到我想要的网址。 如果没有请求标题,我会收到500内部服务器错误。 mapRequestHeaders选项对于传递标题是否有用,请有人举个例子。 以下是我的流的样子: jms --destination = | http-client --url ='''https:// hostnam ..
发布时间:2018-07-10 15:19:54 其他开发

分区非常大的INNER JOIN SQL查询

sql查询是相当标准的内部连接类型。 例如,比较n个表来查看所有n个表中存在哪个customerId将是基本的WHERE ... AND类型查询。 问题是大小的表格是> 1000万条记录。数据库是非规范化的。标准化不是一种选择。 查询要么需要很长时间才能完成,要么从未完成。 我不确定它是否相关,但我们使用spring xd作业模块用于其他类型。 我不确定如何对这类作业进行分区 ..
发布时间:2018-06-01 12:39:56 数据库

我如何将Kerberos票证传递给Spring Yarn应用程序

我正在尝试运行简单的单一项目纱线应用程序,详细此处 。我将应用程序作为jar文件部署到我们的hadoop集群。试图运行时,我收到了一个异常,下面是堆栈跟踪: [2015-06-04 14:10:45.866 ]引导 - 13669 ERROR [主] --- SpringApplication:应用程序启动失败 java.lang.IllegalStateException:未能执行在 ..
发布时间:2018-06-01 12:37:06 分布式计算/Hadoop

星火集群+ XD春

我试图运行春季XD火花处理器流操作。 当火花指向本地的春天XD火花处理器模块的工作原理。该处理器出现故障时,我们点火花火花独立(在同一台机器上运行)或纱线的客户端来运行。是否有可能运行在独立的火花或纱线火花处理器春天XD内或引发局部这里唯一的选择? 处理器模块被定义为: 类WORDCOUNT扩展处理器[字符串(字符串,整数)] { DEF过程(输入:ReceiverInputDStream ..
发布时间:2016-05-22 16:45:57 其他开发