亚马逊网络服务 - Kinesis

Amazon Kinesis 是一种托管,可扩展,基于云的服务,允许实时处理每秒流式传输大量数据.它专为实时应用程序而设计,允许开发人员从多个来源获取任意数量的数据,可以在EC2实例上运行扩展和缩小.

它用于捕获,存储和处理来自大型分布式流(如事件日志和社交媒体源)的数据.处理完数据后,Kinesis会同时将其分发给多个消费者.

如何使用Amazon KCL?

它用于我们需要快速的情况移动数据及其连续处理. Amazon Kinesis可用于以下情况 :

  • 数据日志和数据摘要:我们无需等待批量处理数据,我们可以在数据生成后立即将数据推送到Amazon Kinesis流.它还可以在数据生产者失败时保护数据丢失.例如:系统和应用程序日志可以连续添加到流中,并在需要时可以在几秒钟内使用.

  • 实时图表 : 我们可以使用Amazon Kinesis流提取图表/指标来创建报告结果.我们无需等待数据批量.

  • 实时数据分析 : 我们可以使用Amazon Kinesis运行实时流数据分析.

Amazon Kinesis的限制?

以下是在使用Amazon Kinesis Streams&minus时应该记住的某些限制;

  • 流的记录默认情况下最多可以访问24小时,并且可以通过启用扩展数据保留最多延长7天.

  • 数据blob的最大大小(一个记录中的数据有效负载在Base64编码之前是1兆字节(MB).

  • 一个分片每秒最多支持1000个PUT记录.

  • 有关限制的更多信息,请访问以下链接 :   https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html

如何使用Amazon Kinesis?

以下是使用Amazon Kinesis&minus的步骤;

步骤1 : 使用以下步骤设置Kinesis Stream :

  • 登录AWS账户.从Amazon Management Console中选择Amazon Kinesis.

  • 单击"创建"流并填写所需的字段,例如流名称和分片数.单击"创建"按钮.

创建流

  • 现在流将显示在流列表中.

第2步 : 在Kinesis流上设置用户.创建新用户&为每个用户分配一个策略.(我们已经讨论了创建用户并为其分配策略的上述过程)

步骤3 : 将您的应用程序连接到Amazon Kinesis;在这里,我们将Zoomdata连接到Amazon Kinesis.以下是连接步骤.

  • 以管理员身份登录Zoomdata,然后点击菜单中的来源.

Sources

  • 选择Kinesis图标并填写所需的详细信息.单击下一步按钮.

Connection

  • 在"流"标签上选择所需的流.

  • 关于"字段"选项卡,根据需要创建唯一的标签名称,然后单击"下一步"按钮.

  • 在"图表"选项卡上,启用数据图表.根据需要自定义设置,然后单击完成按钮以保存设置.

Amazon Kinesis的功能

  • 实时处理 : 它允许实时收集和分析信息,如股票交易价格,否则我们需要等待数据输出报告.

  • 易于使用 : 使用Amazon Kinesis,我们可以创建新流,设置其要求,并快速开始流式传输数据.

  • 高吞吐量,弹性 &减去;它允许实时收集和分析信息,如股票交易价格,否则我们需要等待数据输出报告.

  • 与其他人整合亚马逊服务 : 它可以与Amazon Redshift,Amazon S3和Amazon DynamoDB集成.

  • 构建kinesis应用程序 :  Amazon Kinesis为开发人员提供了客户端库,可以实现实时数据处理应用程序的设计和操作.将Amazon Kinesis客户端库添加到Java应用程序,它将在新数据可用于处理时通知.

  • 经济高效&减去; Amazon Kinesis适用于任何规模的工作负载,具有成本效益.我们支付所使用的资源,并按小时支付所需的吞吐量.