Amazon Kinesis 是一种托管,可扩展,基于云的服务,允许实时处理每秒流式传输大量数据.它专为实时应用程序而设计,允许开发人员从多个来源获取任意数量的数据,可以在EC2实例上运行扩展和缩小.
它用于捕获,存储和处理来自大型分布式流(如事件日志和社交媒体源)的数据.处理完数据后,Kinesis会同时将其分发给多个消费者.
它用于我们需要快速的情况移动数据及其连续处理. Amazon Kinesis可用于以下情况 :
数据日志和数据摘要:我们无需等待批量处理数据,我们可以在数据生成后立即将数据推送到Amazon Kinesis流.它还可以在数据生产者失败时保护数据丢失.例如:系统和应用程序日志可以连续添加到流中,并在需要时可以在几秒钟内使用.
实时图表 : 我们可以使用Amazon Kinesis流提取图表/指标来创建报告结果.我们无需等待数据批量.
实时数据分析 : 我们可以使用Amazon Kinesis运行实时流数据分析.
以下是在使用Amazon Kinesis Streams&minus时应该记住的某些限制;
流的记录默认情况下最多可以访问24小时,并且可以通过启用扩展数据保留最多延长7天.
数据blob的最大大小(一个记录中的数据有效负载在Base64编码之前是1兆字节(MB).
一个分片每秒最多支持1000个PUT记录.
有关限制的更多信息,请访问以下链接 : https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
以下是使用Amazon Kinesis&minus的步骤;
步骤1 : 使用以下步骤设置Kinesis Stream :
登录AWS账户.从Amazon Management Console中选择Amazon Kinesis.
单击"创建"流并填写所需的字段,例如流名称和分片数.单击"创建"按钮.
现在流将显示在流列表中.
第2步 : 在Kinesis流上设置用户.创建新用户&为每个用户分配一个策略.(我们已经讨论了创建用户并为其分配策略的上述过程)
步骤3 : 将您的应用程序连接到Amazon Kinesis;在这里,我们将Zoomdata连接到Amazon Kinesis.以下是连接步骤.
以管理员身份登录Zoomdata,然后点击菜单中的来源.
选择Kinesis图标并填写所需的详细信息.单击下一步按钮.
在"流"标签上选择所需的流.
关于"字段"选项卡,根据需要创建唯一的标签名称,然后单击"下一步"按钮.
在"图表"选项卡上,启用数据图表.根据需要自定义设置,然后单击完成按钮以保存设置.
实时处理 : 它允许实时收集和分析信息,如股票交易价格,否则我们需要等待数据输出报告.
易于使用 : 使用Amazon Kinesis,我们可以创建新流,设置其要求,并快速开始流式传输数据.
高吞吐量,弹性 &减去;它允许实时收集和分析信息,如股票交易价格,否则我们需要等待数据输出报告.
与其他人整合亚马逊服务 : 它可以与Amazon Redshift,Amazon S3和Amazon DynamoDB集成.
构建kinesis应用程序 : Amazon Kinesis为开发人员提供了客户端库,可以实现实时数据处理应用程序的设计和操作.将Amazon Kinesis客户端库添加到Java应用程序,它将在新数据可用于处理时通知.
经济高效&减去; Amazon Kinesis适用于任何规模的工作负载,具有成本效益.我们支付所使用的资源,并按小时支付所需的吞吐量.