Apache Flink 1.4.2 akka.actor.ActorNotFound
升级到Apache Flink 1.4.2后，我们每3秒钟就会在一个TaskManager上收到以下错误消息. 2018-06-27 17:33:46.632 [jobmanager-future-thread-2] DEBUG o.a.flink.runtime.rest.handler.legacy.metrics.MetricFetcher - Could not retrieve
..
apache-flink相关内容
Flink复杂事件处理
我有一个flink cep代码，该代码从套接字读取并检测模式.可以说模式(单词)是“警报".如果单词Alert出现五次或更多次，则应创建一个警报.但是我收到输入不匹配错误. Flink版本是1.3.0.在此先感谢！ package pattern; import org.apache.flink.cep.CEP; import org.apache.flink.cep.PatternStr
..
如何在Flink中调试可序列化的异常?
我遇到了几个可序列化的异常，并且我在Flink的互联网和文档上进行了一些搜索；有一些著名的解决方案，例如transient，extended Serializable等.每次异常的起源都很清楚，但就我而言，我无法找到未序列化的确切位置. 问:我应该如何调试这种异常? A.scala: class executor ( val sink: SinkFunction[List[Strin
..
“广播状态"是什么意思?取消Flink的CEP库的“动态模式"功能的实现?
从Flink 1.5发行公告中，我们知道Flink现在支持“广播状态"，并且描述为“广播状态解除了Flink CEP库“动态模式"功能的实施." 这是否意味着当前我们可以在没有Flink CEP的情况下使用“广播状态"来实现“动态模式"? 我也不知道在有或没有广播状态的情况下为Flink CEP实现“动态模式"有什么区别?如果有人可以提供示例代码来解释差异，我将不胜感激. ======
..
用于CEP的简单Scala API示例不显示任何输出
我正在编写一个简单的示例，使用最新的Github版本1.1-SNAPSHOT在Flink中测试用于CEP的新Scala API. Pattern仅检查值，并为匹配的每个模式输出一个String作为结果.代码如下: val pattern : Pattern[(String, Long, Int), _] = Pattern.begin("start").where(_._3
..
Flink CEP:哪种方法可以为不同类型的事件加入数据流?
假设我有2种不同类型的数据流，一种提供天气数据，另一种提供车辆数据，我想使用Flink对数据进行复杂的事件处理. Flink 1.3.x中哪种方法是正确使用的方法?我看到了诸如Union，Connect，Window Join之类的不同方法.基本上，我只想尝试一个像这样的简单CEP: IF weather is wet AND vehicle speed > 60 WITHIN th
..
是否可以在Apache Flink CEP中处理多个流?
我的问题是，如果我们有两个原始事件流，即烟雾和温度，并且我们想确定是否是复杂事件，即火灾通过将运算符应用于原始流而发生了，我们可以在Flink中做到这一点吗? 我之所以问这个问题，是因为到目前为止，我所看到的Flink CEP的所有示例仅包含一个输入流.如果我错了，请纠正我. 解决方案 简短回答-是的，您可以根据来自不同流源的事件类型读取和处理多个流和触发规则. 长答案-我有一
..
无法执行由ClassNotFoundException引起的Flink仪表板版本1.3.2中的CEP模式
我已经写了一个像这样的简单模式 Pattern pattern = Pattern.begin("start") .where(new SimpleCondition() { @Override public boolean filter(JoinedEven
..
Flink一次准确的消息处理
我已经设置了一个Flink 1.2独立集群，其中包含2个JobManager和3个TaskManager，并且我正在使用JMeter通过产生Kafka消息/事件进行负载测试，然后对其进行处理.处理作业在TaskManager上运行，通常每秒需要约15K个事件. 作业已设置EXACTLY_ONCE检查点，并且正在将状态和检查点持久存储到Amazon S3. 如果我关闭运行该作业的TaskManag
..
Apache Flink:如何计算DataStream中的事件总数
我有两个原始流，我正在加入这些流，然后我要计算已加入的事件总数是多少，尚未加入的事件有多少.我通过在joinedEventDataStream上使用地图来做到这一点，如下所示 joinedEventDataStream.map(new RichMapFunction() { @Override pub
..
Flink:如何处理Flink中的外部应用程序配置更改
我的要求是一天要流式传输数百万条记录，并且它对外部配置参数有很大的依赖性.例如，用户可以随时在Web应用程序中去更改所需的设置，并且在进行更改后，必须使用新的应用程序配置参数进行流传输.这些是应用程序级别的配置，我们还有一些动态排除参数，每个数据都必须通过这些参数并进行过滤. 我看到flink没有在所有任务管理器和子任务之间共享的全局状态.拥有集中式缓存是一种选择，但是对于每个参数，我都必须
..
Apache Flink-如果在x分钟内未收到任何数据，则发送事件
我如何使用Flink的DataStream API实现一个操作符，该操作符在一定时间内没有收到来自流的数据时发送事件？ 解决方案 这样的运算符可以使用 ProcessFunction 来实现。 DataStream输入= env.fromElements（1L，2L，3L，4L）; 输入 //使用keyBy具有键控状态。 // NullByteKeySel
..
加入ioThread时中断/在flink应用程序中处理流运算符时出错
我有一个基于flink的流应用程序，它使用apache kafka源和接收器。有时候，在开发过程中，我有时会出现异常情况，因此我不知道它们的来源。 我在 IntelliJ 使用 mainRunner 类，我通过kafka馈送消息。有时第一条消息将触发错误，有时仅在几条消息之后才发生。 外观如下： 16：31：01.935错误Oakcproducer.KafkaProducer-
..
从代码中取消Apache Flink作业
我处于一种要停止/取消代码中的flink作业的情况。这是在集成测试中，在该测试中，我正在向flink作业提交任务并检查结果。随着工作的进行，异步地，即使测试失败/通过，它也不会停止。我想在测试结束后停下来。 我尝试了一些我在下面列出的东西： 获取职位经理演员 获取正在运行的职位 对于每个正在运行的职位，向其发送取消请求jobmanager 这当然不是在运行，但是我不确定job
..
从PostgreSQL读取数据时无法在flink中获取Json数据
我试图使用flink从postgre获取数据。 以下是代码： dbData = env.createInput（JDBCInputFormat.buildJDBCInputFormat（） ）。 setDrivername（Utils.properties_fetch（“驱动程序名称”）） .setDBUrl（Utils.properties_fetch（“ dbURL”）） .se
..
Apache Flink-如何使用AWS Kinesis发送和使用POJO
我想使用Flink消费来自Kinesis的POJO. 是否有关于如何正确发送和反序列化消息的标准? 谢谢 解决方案 我使用以下方法解决了该问题: DataStream kinesis = see.addSource(new FlinkKinesisConsumer( "my-stream", new POJODese
..
了解flink保存点&检查点
将Apache Flink流应用程序与这样的管道一起考虑: Kafka-Source -> flatMap 1 -> flatMap 2 -> flatMap 3 -> Kafka-Sink 其中每个flatMap函数都是无状态运算符(例如Datastream的常规.flatMap函数). 万一传入的消息将在flatMap 3挂起，检查点/保存点如何工作?从flatMap 1开始重
..
Flink:在Jobmanager UI中设置的并行度与任务槽有什么关系?
比方说，我有8个任务管理器和16个任务槽.如果我使用Jobmanager UI提交作业并将并行度设置为8，是否仅使用8个任务槽? 如果我有8个任务管理器和8个插槽，并以8的并行度提交同一作业，该怎么办?完全一样吗?还是处理数据的方式有所不同? 谢谢. 解决方案 Flink群集中任务插槽的总数定义了最大并行度，但是使用的插槽数可能会超过实际的并行度.例如，考虑一下这项工作:
..
Apache Flink:KeyedStream上的数据分布偏斜
我在Flink中有以下Java代码: env.setParallelism(6); //Read from Kafka topic with 12 partitions DataStream line = env.addSource(myConsumer); //Filter half of the records DataStream
..
Flink Kafka-如何使App并行运行?
我正在使用Flink创建一个应用程序 阅读主题中的消息 对其进行一些简单的处理 将结果写到另一个主题 我的代码可以工作，但是它 不能并行运行 我该怎么办? 看来我的代码仅在一个线程/块上运行? 在Flink Web仪表板上: 应用程序进入运行状态 但是，概述子任务中仅显示一个块 接收/发送的字节数，接收/发送的记录始终为零(无更新) 这是我的代码，请协助我
..