spring-cloud-dataflow相关内容

PolledProcessor在Spring云数据流上的问题

我正在使用PolledProcessor实现一个Spring云数据流处理器。我遵循了这里的示例https://spring.io/blog/2018/02/27/spring-cloud-stream-2-0-polled-consumers。以下是我的代码。我将一个带有源管道的流部署到SCDF的这个处理器(源|轮询处理器)，并让源发布了一些消息。我确认处理器每秒轮询来自SCDF Rabbitmq ..
发布时间：2022-09-24 20:37:37 其他开发

利用Spring Cloud数据流搭建异质系统场景下的数据交换

我有一个涉及用不同语言(Java、Python、C#等)编写的多个应用程序的用例，我想在这些应用程序之间创建几个流。下面给出了一个说明性的例子。 我正在尝试通过一个编排层找到完成此任务的最佳方法，该编排层完成所有幕后工作，包括记账、部署、消息队列创建和绑定等。 为此，我正在研究Spring Cloud数据流(SCDF)。然而，SCDF被设计为专门为Spring引导应用程序创建数据集成管 ..
发布时间：2022-09-24 20:25:50 其他开发

在Kubernetes集群的特定节点上有条件地启动Spring Cloud任务

我正在构建用于批处理的数据管道。我发现使用Spring Cloud DataFlow是一个非常吸引人的框架。由于对SCDF和Kubernetes了解不多，我不确定是否可以在特定机器上有条件地启动一个Spring Cloud任务。 假设我有两台用于运行批处理的物理服务器(服务器A和服务器B)。默认情况下，我希望我的Spring云任务在服务器A上启动，如果服务器A关闭，任务应该部署在服务器B上。Ku ..
发布时间：2022-07-03 21:47:02 其他开发

数据流任务不适用于 Spring Batch

我有 Spring Batch job，它也是数据流 task.当我运行此作业时，一切似乎都正常，在 Tasks > Executions 中，我可以看到任务已成功完成.另一方面，当我转到 Jobs 选项卡时，我收到此错误(在命令行中): java.lang.NullPointerException: null在 org.springframework.cloud.dataflow.server ..
发布时间：2021-08-20 20:09:35 其他开发

LoadBalancing Spring 云数据流服务器

在 spring 云数据流中，根据我的理解，每个流都是一个微服务，但数据流服务器不是.我说得对吗? Spring Cloud Dataflow(SCDF) 服务器是否可以有多个实例?如何对数据流服务器进行负载平衡?我打算在 AWS 中部署它.官方文档没有提到有关数据流服务器负载平衡的任何内容.如果可能的话，仪表板、外壳如何工作? 解决方案 SCDF-server 是一个常规的 Spr ..
发布时间：2021-08-20 20:09:29 其他开发

Spring Cloud Data Flow:无法启动同一任务的多个实例

TL;DR 即使 文档 说这是默认行为.我们如何允许 SCDF 使用 Java DSL 同时运行同一任务的多个实例来启动任务?为了让事情变得更有趣，例如，当使用 curl 直接命中其余端点时，多次启动相同的任务可以正常工作. 背景: 我有一个 Spring Cloud 数据流任务，我已经在 Spring Cloud 数据流 UI 仪表板 @SpringBootApplicati ..
发布时间：2021-08-20 20:09:17 Java开发

使用 spring cloud skipper 在 k8s 上附加版本作为服务/部署名称的合理背后

我对 Spring Cloud 数据流世界有点陌生，在玩这个框架时，我发现如果我有一个流 = 'test-steram' 和 1 个名为“app"的应用程序.当我使用船长部署到 kubernetes 时，我看到它创建了 pod/deployment &名称为 的 kubernetes 上的服务 test-stream-app-v1. 我的问题是为什么我们需要在 k8s 上的服务/部署名称 ..
发布时间：2021-08-20 20:09:14 其他开发

使用原始标头发布 null/tombstone 消息

我正在构建一个 Spring Cloud Stream Kafka 处理器应用程序，它将使用字符串键使用原始数据，有时使用来自 Kafka 主题的空负载.我想为另一个主题生成一个字符串键和空负载(在 Kafka 中称为墓碑).为了在消息上使用原始标头，我需要输出一个 byte[]，但是如果我将 KafkaNull.INSTANCE 编码成一个 byte[]code> 它将逐字输出对象哈希码的字符串 ..
发布时间：2021-08-20 20:09:02 其他开发

Spring Cloud 数据流 Pod 清理

我们反复看到日志中出现资源配额限制问题，并且任务作业在 Kubernetes 上运行的 SCDF 上失败.问题是，“running"中有这么多 Pod即使在他们完成后的状态.我了解，SCDF 不会删除 Pod，清理工作是开发人员的责任. 即使我从 SCDF 仪表板 UI 运行任务执行清理，它也只会清理执行日志和任务表单 UI，但该任务创建的 Pod 仍然保留.这是预期的吗?任务执行清理不应该 ..
发布时间：2021-08-20 20:08:59 其他开发

可以使用 Spring Cloud 数据流根据负载动态配置从进程吗?

我们目前正在使用 Spring 批处理 - 远程分块来扩展批处理.正在考虑使用 Cloud 数据流，但想知道是否可以基于负载动态配置 Slaves?我们部署在 Google Cloud 中，因此如果 Cloud 数据流满足我们的需求，还想考虑对 kubernetes 使用 Spring Cloud 数据流支持吗? 解决方案 当使用 Spring Cloud Task 的批处理扩展(特别是 ..
发布时间：2021-08-20 20:08:53 其他开发

在 Spring Cloud 数据流中监控自定义 Stream 应用程序

我正在尝试使用 prometheus 和 grafana 进行 scdf 及其监控.我遵循了可用的文档并能够部署示例流并能够查看 grafana 中的指标. 我创建了一个带有一些自定义流应用程序的流(除了提供的 rabbit mq starter 应用程序). 流:htt |参与者 |日志 但是我无法在 gafana 中看到“参与者"应用程序指标.但能够查看 http 和日志应用 ..
发布时间：2021-08-20 20:08:50 其他开发

更改 RabbitMQ Spring Cloud Stream Starter App 的内容类型

Spring Cloud Stream Starter Apps 列出了几种可能的内容类型，每种类型的输出负载都有不同的结果类型.但是，它没有说明如何选择要使用的那个.我正在部署一个 Spring Cloud 数据流，将 Rabbit 源连接到一个日志接收器，我得到的只是字节数组.即使我在 Rabbit 消息的标头中将内容类型明确设置为“text/plain"，它也会在日志接收器中显示为带有标头的 ..
发布时间：2021-08-20 20:08:47 其他开发

spring-data-flow 任务示例

我将 spring-cloud-dataflow 与 taskcloud 模块一起使用，但在容器中使用一个简单的示例时遇到了一些麻烦.小例子 6.3 写代码然后我已经部署了但是当我尝试执行它时给我一个 java.lang.IllegalArgumentException: Invalid TaskExecution, ID 1 not found在 org.springframework.u ..
发布时间：2021-08-20 20:08:44 其他开发

在 Spring Cloud Data Flow 中使用一个源、两个并行处理器和一个接收器创建 Stream

我正在尝试使用 在 Spring Cloud Data Flow 中创建一个流 一个来源，即订单来源和 Order 消息将发布到 RabbitMQ Topic/Queue. 两个并行处理器，即产品处理器和装运处理器这两个处理器都将是RabbitMQ Topic/Queue的订阅者并获取Order消息，每个处理器将单独处理这些Order消息并更新Order，Order消息将发布到Rab ..
发布时间：2021-08-20 20:08:41 其他开发