flink-cep相关内容

未触发闪烁CEP事件

我已经在连接到本地Kafka Broker的Flink中实现了CEP模式，该模式可以像预期的那样工作。但是当我连接到基于群集的云Kafka设置时，Flink CEP没有触发。 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //saves chec ..
发布时间：2022-03-15 12:04:50 其他开发

在Flink 1.13中配置RocksDB

我读过有关Flink 1.13版本中EmbeddedRocksDBStateBackend的内容，但有大小限制，因此我希望保留以前Flink版本1.11的当前配置，但重点是这种配置RocksDB的方式已被弃用(new RocksDBStateBackend("path", true);)。 我已使用EmbeddedRocksDBStateBackend (new EmbeddedRocksD ..
发布时间：2022-03-15 12:02:11 Java开发

Flink 1.2 无法在 HA Cluster 模式下启动

我已经在 HA 集群模式 2 JobManagers 1 TaskManager 本地安装了 Flink 1.2 并且它一直拒绝在这种模式下实际启动显示“启动集群."消息而不是“在 ZooKeeper 仲裁中启动具有 2 个主节点和 1 个对等节点的 HA 集群." 显然在 bin/config.sh 中，它读取的配置如下: # 高可用如果 [ -z "${HIGH_AVAILABILIT ..
发布时间：2021-11-12 01:18:29 其他开发

TaskManager 的 Flink 状态后端

我有一个 Flink v1.2 设置，其中有 1 个 JobManager、2 个 TaskManager，每个都在它自己的 VM 中.我将状态后端配置为文件系统并将其指向上述每个主机的本地位置(state.backend.fs.checkpointdir:file:///home/ubuntu/Prototype/flink/flink-checkpoints).我已将并行度设置为 1，并且每个 ..
发布时间：2021-11-12 01:18:23 其他开发

flink 中自定义类的 hashCode() 和 equals() 方法

我怀疑 Flink 中的自定义类是否需要覆盖 hashCode() 和 equals() 方法，因为我已经阅读了 这个页面 hashCode() 绝不能在分布式系统中实现，Apache Flink 就是其中之一. 示例:我有这个类: public class EventCounter {公共字符串 ID；公长计数；公共时间戳 firstEvent；公共时间戳 lastEvent；公开日期； ..
发布时间：2021-11-12 01:16:23 其他开发

关于 StateTtlConfig

我正在为 MapState 配置我的 StateTtlConfig，我感兴趣的是进入状态的对象有 3 个小时的生命，然后它们应该从状态中消失并传递给 GC 进行清理并释放一些内存和检查点我认为也应该释放一些重量.我之前有这个配置，但它似乎不起作用，因为检查点总是在增长: private final StateTtlConfig ttlConfig = StateTtlConfig.newBuil ..
发布时间：2021-11-12 01:16:15 其他开发

flink 计数不同的问题

现在我们使用滚动窗口来计算不同的.我们遇到的问题是，如果我们将翻滚窗口从一天延长到一个月，我们将无法获得目前不同的数量.这意味着如果我们将翻滚窗口设置为 1 个月，我们得到的数字来自每个月的 1 号.我现在如何获得当前的非重复计数(现在是 3 月 9 日.)? 包flink.trigger;导入 org.apache.flink.api.common.state.ReducingState；导入 ..
发布时间：2021-11-12 01:16:00 其他开发

flink 中自定义类的 hashCode() 和 equals() 方法

我怀疑 Flink 中的自定义类是否需要覆盖 hashCode() 和 equals() 方法，因为我已经阅读了 这个页面 hashCode() 绝不能在分布式系统中实现，Apache Flink 就是其中之一. 示例:我有这个类: public class EventCounter {公共字符串 ID；公长计数；公共时间戳 firstEvent；公共时间戳 lastEvent；公开日期； ..
发布时间：2021-11-12 01:15:22 其他开发

flink 计数不同的问题

现在我们使用滚动窗口来计算不同的.我们遇到的问题是，如果我们将翻滚窗口从一天延长到一个月，我们将无法获得目前不同的数量.这意味着如果我们将翻滚窗口设置为 1 个月，我们得到的数字来自每个月的 1 号.我现在如何获得当前的非重复计数(现在是 3 月 9 日.)? 包flink.trigger;导入 org.apache.flink.api.common.state.ReducingState；导入 ..
发布时间：2021-11-12 01:14:49 其他开发

关于 StateTtlConfig

我正在为 MapState 配置我的 StateTtlConfig，我感兴趣的是进入状态的对象有 3 个小时的生命，然后它们应该从状态中消失并传递给 GC 进行清理并释放一些内存和检查点我认为也应该释放一些重量.我之前有这个配置，但它似乎不起作用，因为检查点总是在增长: private final StateTtlConfig ttlConfig = StateTtlConfig.newBuil ..
发布时间：2021-11-12 01:14:46 其他开发

Apache Flink - 匹配具有相同值的字段

我们有一个用例，我们需要找到暴力破解的模式，例如从同一设备和相同用户名登录 10 次失败，然后从相同用户名和相同设备成功登录.这应该在 10 分钟内发生. 假设我们有 10 个登录失败的 Windows 事件，用户 A 为用户名，B 为设备名，并且用户 A 使用相同的设备 B 成功登录，我们应该发出警报.有没有办法将 CEP 连接到满足上述用例.设备和用户名不会事先知道，字段的基数也不知道. ..
发布时间：2021-11-12 01:13:45 其他开发

Flink 复杂事件处理

我有一个从套接字读取并检测模式的 flink cep 代码.假设模式(词)是“警报".如果 alert 一词出现五次或更多次，则应创建警报.但我收到输入不匹配错误.Flink 版本是 1.3.0.提前致谢！！ 包模式；导入 org.apache.flink.cep.CEP；导入 org.apache.flink.cep.PatternStream;导入 org.apache.flink.cep. ..
发布时间：2021-11-12 01:13:12 其他开发

检测某个事件的缺失

在 FlinkCEP 的文档中，我发现我可以使用 notFollowedBy 或 notNext 来强制特定事件不会发生在其他两个事件之间. 但是，我想知道是否可以在时间 X 之后检测到某个事件的缺失.例如，如果一个事件 A 在 10 秒内没有跟随另一个事件 A，则发出警报或执行某些操作. 是否可以定义一个 FlinkCEP 模式来捕捉这种情况? 提前致谢，温贝托 解决方案 ..
发布时间：2021-11-12 01:11:38 其他开发

Flink 复杂事件处理

我有一个从套接字读取并检测模式的 flink cep 代码.假设模式(词)是“警报".如果 alert 一词出现五次或更多次，则应创建警报.但我收到输入不匹配错误.Flink 版本是 1.3.0.提前致谢！！ 包模式；导入 org.apache.flink.cep.CEP；导入 org.apache.flink.cep.PatternStream;导入 org.apache.flink.cep. ..
发布时间：2021-11-12 01:10:29 其他开发

如何在 Flink 中调试可序列化异常?

我遇到了几个可序列化的异常，我在 Flink 的互联网和文档上做了一些搜索；有一些著名的解决方案，如瞬态、扩展可序列化等.每次异常的来源都非常清楚，但在我的情况下，我无法找到它没有被序列化的确切位置. 问:我应该如何调试这种异常? A.scala: class executor ( val sink: SinkFunction[List[String]] {def exe(): 单位 ..
发布时间：2021-11-12 01:07:31 其他开发

动态节流 flink kafka 源

我们正在使用多个 kafka 主题，但希望优先考虑其中一些(~ 服务质量). 根据我在网上找到的内容，共识是不限制操作符，而是限制源代码，更具体地说是解串器 [1]. 我们如何在源中访问有关流媒体环境状态的信息(即主题落后当前偏移量的程度). 目前，我们计划将我们的整个设置转换为 CoFlatMaps [2] 并有一个控制流，它为所有主题发出当前的偏移滞后 - 低优先级流操作符然 ..
发布时间：2021-11-12 01:04:46 其他开发