data-stream相关内容

Flink Streaming:事件是否根据其键分别分发到每个任务槽?

例如,如果我的事件顺序为键A,事件顺序为键B,并行度为2。是否所有键A的事件都转到一个任务槽,而键B的事件都转到另一个任务槽? 如果我只按键A的顺序获取事件,会发生什么情况?它们是否也会分发到两个任务槽。这是否意味着我失去了它们出现的顺序? 推荐答案 不,它不完全是这样工作的。 发生的情况是每个键都映射到一个键组,其中键组总数由集群的最大并行度(配置设置)决定。然后将键组映射到 ..

Apache Flink - 如果 x 分钟没有收到数据,则发送事件

如何使用 Flink 的 DataStream API 实现一个操作符,该操作符在一段时间内没有从流中接收到数据时发送事件? 解决方案 这样的操作符可以使用 ProcessFunction 来实现. DataStream输入 = env.fromElements(1L, 2L, 3L, 4L);输入//使用 keyBy 获得键控状态.//NullByteKeySelector 将所有数据 ..

从套接字java读取数据

所以,我正在尝试从套接字读取数据.我已经建立了一个连接并向另一个正在侦听的套接字发送了一条消息,但它似乎没有收到任何消息.客户端代码: import java.net.*;导入 java.io.*;导入 java.util.*;公共类 TCPClient {/*连接到服务器.*/公共静态无效客户端(字符串 [] args){内部端口 = 47361;扫描仪输入 = new Scanner(Sys ..
发布时间:2021-07-05 18:44:34 Java开发

从红宝石读取USB输入流。

仅需一些背景知识,我就使用Linux Mint(32位)中的原始数据流。来自我的库 ruby​​-buzz ,该库从数据流文件中读取24位块。 我刚刚用32位Linux Mint重新安装了笔记本电脑,突然我看到了错误 Errno :: EINVAL :无效的参数@ io_fread 。 ajfaraday @ squishy〜$ sudo chmod 777 / dev / inpu ..
发布时间:2020-06-11 02:13:44 其他开发

Apache Flink-如果在x分钟内未收到任何数据,则发送事件

我如何使用Flink的DataStream API实现一个操作符,该操作符在一定时间内没有收到来自流的数据时发送事件? 解决方案 这样的运算符可以使用 ProcessFunction 来实现。 DataStream输入= env.fromElements(1L,2L,3L,4L); 输入 //使用keyBy具有键控状态。 // NullByteKeySel ..

如何为数据流挖掘创建滑动窗口模型?

我们有一种情况,即流(来自传感器的数据或服务器上的单击流数据)与滑动窗口算法一起出现,我们必须将最后(例如)500个数据样本存储在内存中.然后将这些样本用于创建直方图,聚合和捕获有关输入数据流中异常的信息. 请告诉我如何制作这种滑动窗口. 解决方案 如果您要问如何以滑动窗口的方式存储和维护这些值,请考虑以下简单示例,该示例跟踪最近10次的运行均值一些随机数据流的值: WINDO ..
发布时间:2020-05-06 13:32:13 其他开发

创建一种通过网络发送整数的有效方法。 TCP

如何将整数值转换为字节数组,然后通过字节流将它们发送到客户端程序,该程序将字节数组转换回整数? My程序是一个乒乓球游戏。一旦运行,它就会创建一个服务器,客户端使用对象流立即通过互联网连接到。一切都运作良好,但似乎效率不高。我的意思是,当球试图通过更新循环保持同步时,球来回摆动。我可能已经松散地编程了,但这是我能想到的最好的。我希望有更多了解这种事情如何运作的人可以帮我澄清一些事情。 ..
发布时间:2018-12-21 20:50:54 Java开发

基于Java的传感器数据收集库

我正在寻找一个适用于以通用方式收集实时传感器数据流的可嵌入Java库。我计划使用它来开发一个“集线器”应用程序,用于报告在基于JVM的服务器上运行的多个不同的传感器流(也将使用Clojure)。 它需要的关键事项: 各种常见传感器类型/ API的接口。我很高兴能够自己构建我需要的东西,但是如果有一些标准的东西是开箱即用的话会很好。 适合“软实时”使用,即相当低的延迟并且开销很低。 ..
发布时间:2018-12-10 11:52:48 Java开发

使用Node.js流式传输数据

我想知道是否可以使用Node.js将数据从服务器传输到客户端。我想向Node.js发布单个AJAX请求,然后将连接保持打开状态,并不断向客户端传输数据。客户将收到此流并不断更新页面。 更新: 作为这个答案 - 我无法得到这个工作。在调用 close 之前,不会发送 response.write 。我已经创建了一个示例程序来实现这一点: Node.js: var sys = ..
发布时间:2018-06-14 18:44:51 前端开发

在字典中计数项目

我需要对不同的IDENTIFIERS进行计数,然后打印一个数字。信息来自一个如下所示的数据流: IDENTIFIER 7756753.940 receiveetest:ms 0x0000069a 8 00 00 00 00 00 e4 8a 9a 7756754.409接收端:ms 0x00000663 8 2f 00 62 02 00 e4 8a 9a 7756754.878 ..
发布时间:2017-05-24 22:31:02 Python

用Node.js的流数据

我想知道是否有可能从服务器流式传输数据,以与node.js中客户端从我能理解所有在互联网上是,这已经是可能的,但我无法找到正确的示例和解决方案。 我要的是一个HTTP POST到Node.js的使用AJAX。不是离开连接打开,不断流数据到客户端。 客户端会不断收到此流和更新页面。 更新1 作为更新这样的回答:我想这已经和我的雁后再次尝试。我不能得到这个工作。你调用close之前的Res ..
发布时间:2015-11-28 22:47:58 前端开发

FIFO /队列缓冲区专业字节流

有类的任何.NET数据结构/组合允许字节数据追加到缓冲区的结束,但所有的偷窥和读取是从一开始,缩短了缓冲区,当我读到? 在的MemoryStream 类似乎做这项工作的一部分,但我需要保持对阅读和写作不同的地点,并且它不会自动在开始丢弃数据之后,它的读取。 这是答案已经贴在回答这个问题这基本上是我想要做的,但我想preFER我能够做到的异步I / O在同一过程的不同组成部分,就像一个正常的管道 ..
发布时间:2015-11-25 12:49:35 C#/.NET