spring-cloud-dataflow相关内容
我正在使用PolledProcessor实现一个Spring云数据流处理器。我遵循了这里的示例https://spring.io/blog/2018/02/27/spring-cloud-stream-2-0-polled-consumers。以下是我的代码。我将一个带有源管道的流部署到SCDF的这个处理器(源|轮询处理器),并让源发布了一些消息。我确认处理器每秒轮询来自SCDF Rabbitmq
..
我有一个涉及用不同语言(Java、Python、C#等)编写的多个应用程序的用例,我想在这些应用程序之间创建几个流。下面给出了一个说明性的例子。 我正在尝试通过一个编排层找到完成此任务的最佳方法,该编排层完成所有幕后工作,包括记账、部署、消息队列创建和绑定等。 为此,我正在研究Spring Cloud数据流(SCDF)。然而,SCDF被设计为专门为Spring引导应用程序创建数据集成管
..
我正在构建用于批处理的数据管道。我发现使用Spring Cloud DataFlow是一个非常吸引人的框架。由于对SCDF和Kubernetes了解不多,我不确定是否可以在特定机器上有条件地启动一个Spring Cloud任务。 假设我有两台用于运行批处理的物理服务器(服务器A和服务器B)。默认情况下,我希望我的Spring云任务在服务器A上启动,如果服务器A关闭,任务应该部署在服务器B上。Ku
..
我有 Spring Batch job,它也是数据流 task.当我运行此作业时,一切似乎都正常,在 Tasks > Executions 中,我可以看到任务已成功完成.另一方面,当我转到 Jobs 选项卡时,我收到此错误(在命令行中): java.lang.NullPointerException: null在 org.springframework.cloud.dataflow.server
..
我首先注册了接收器,如下所示: app register --name mysink --type sink --uri file:///Users/swatikaushik/Downloads/kafkaStreamDemo/target/kafkaStreamDemo-0.0.1-SNAPSHOT.jar 然后我创建了一个流 stream create --definition “:my
..
在 spring 云数据流中,根据我的理解,每个流都是一个微服务,但数据流服务器不是.我说得对吗? Spring Cloud Dataflow(SCDF) 服务器是否可以有多个实例?如何对数据流服务器进行负载平衡?我打算在 AWS 中部署它.官方文档没有提到有关数据流服务器负载平衡的任何内容.如果可能的话,仪表板、外壳如何工作? 解决方案 SCDF-server 是一个常规的 Spr
..
已使用 Helm 在 Azure AKS 上部署 Spring Cloud Data flow:helm install --name my-release stable/spring-cloud-data-flow 数据流服务器实现名称:spring-cloud-dataflow-server版本:2.0.1.RELEASE 但是获取 Liveness 探测和就绪探测失败 401: 事件:
..
使用 kubernetes 部署程序,我无法登录应用 uaa 服务安全性的 scdf2...使用 scdf 2.1.2 映像版本. 我从 uaa 服务进入/login 和/login?code=xxx 的循环,因为我认为 scdf2 无法获得“令牌".. 过程: 1) UA 服务器的初始启动. 运行到 pod k8s 的 uaa 服务,使用以下配置[应用 https://g
..
TL;DR 即使 文档 说这是默认行为.我们如何允许 SCDF 使用 Java DSL 同时运行同一任务的多个实例来启动任务?为了让事情变得更有趣,例如,当使用 curl 直接命中其余端点时,多次启动相同的任务可以正常工作. 背景: 我有一个 Spring Cloud 数据流任务,我已经在 Spring Cloud 数据流 UI 仪表板 @SpringBootApplicati
..
我对 Spring Cloud 数据流世界有点陌生,在玩这个框架时,我发现如果我有一个流 = 'test-steram' 和 1 个名为“app"的应用程序.当我使用船长部署到 kubernetes 时,我看到它创建了 pod/deployment &名称为 的 kubernetes 上的服务 test-stream-app-v1. 我的问题是为什么我们需要在 k8s 上的服务/部署名称
..
尝试将函数运行器部署到 scdf k8s 中 http --server.port=9001 |f-run: function-runner --function.className=com.example.functions.CharCounter --class-name=com.example.functions.CharCounter --location="maven://io.spr
..
我正在尝试开发一个适用于 SCDF 2.4.1 和 Skipper 2.3.1 的新应用 我从https://github.com/sabbyanandan/stream-programming-models 我在本地构建它们.下载了 SCDF kafka 的 docker compose,设置版本并挂载我的 repo 并启动我的 docker compose. 当我部署“功能"
..
我正在构建一个 Spring Cloud Stream Kafka 处理器应用程序,它将使用字符串键使用原始数据,有时使用来自 Kafka 主题的空负载.我想为另一个主题生成一个字符串键和空负载(在 Kafka 中称为墓碑).为了在消息上使用原始标头,我需要输出一个 byte[],但是如果我将 KafkaNull.INSTANCE 编码成一个 byte[]code> 它将逐字输出对象哈希码的字符串
..
我们反复看到日志中出现资源配额限制问题,并且任务作业在 Kubernetes 上运行的 SCDF 上失败.问题是,“running"中有这么多 Pod即使在他们完成后的状态.我了解,SCDF 不会删除 Pod,清理工作是开发人员的责任. 即使我从 SCDF 仪表板 UI 运行任务执行清理,它也只会清理执行日志和任务表单 UI,但该任务创建的 Pod 仍然保留.这是预期的吗?任务执行清理不应该
..
系统信息 Spring Cloud 数据流 Cloud Foundry:v1.1.0.RELEASEPivotal Cloud Foundry:v1.7.12CF 客户端(Windows):cf.exe 版本 6.23.1+a70deb3.2017-01-13cf-v3-plugin: 0.6.7 启动不带参数的时间戳任务应用程序失败.来自 Spring Cloud Data Flow
..
我们目前正在使用 Spring 批处理 - 远程分块来扩展批处理.正在考虑使用 Cloud 数据流,但想知道是否可以基于负载动态配置 Slaves?我们部署在 Google Cloud 中,因此如果 Cloud 数据流满足我们的需求,还想考虑对 kubernetes 使用 Spring Cloud 数据流支持吗? 解决方案 当使用 Spring Cloud Task 的批处理扩展(特别是
..
我正在尝试使用 prometheus 和 grafana 进行 scdf 及其监控.我遵循了可用的文档并能够部署示例流并能够查看 grafana 中的指标. 我创建了一个带有一些自定义流应用程序的流(除了提供的 rabbit mq starter 应用程序). 流:htt |参与者 |日志 但是我无法在 gafana 中看到“参与者"应用程序指标.但能够查看 http 和日志应用
..
Spring Cloud Stream Starter Apps 列出了几种可能的内容类型,每种类型的输出负载都有不同的结果类型.但是,它没有说明如何选择要使用的那个.我正在部署一个 Spring Cloud 数据流,将 Rabbit 源连接到一个日志接收器,我得到的只是字节数组.即使我在 Rabbit 消息的标头中将内容类型明确设置为“text/plain",它也会在日志接收器中显示为带有标头的
..
我将 spring-cloud-dataflow 与 taskcloud 模块一起使用,但在容器中使用一个简单的示例时遇到了一些麻烦.小例子 6.3 写代码然后我已经部署了但是当我尝试执行它时给我一个 java.lang.IllegalArgumentException: Invalid TaskExecution, ID 1 not found在 org.springframework.u
..
我正在尝试使用 在 Spring Cloud Data Flow 中创建一个流 一个来源,即订单来源和 Order 消息将发布到 RabbitMQ Topic/Queue. 两个并行处理器,即产品处理器和装运处理器这两个处理器都将是RabbitMQ Topic/Queue的订阅者并获取Order消息,每个处理器将单独处理这些Order消息并更新Order,Order消息将发布到Rab
..