AWS Kinesis简介

Kinesis简介

Amazon Kinesis可以让你轻松收集、处理和分析实时流数据。利用Amazon Kinesis，你可以在收到数据的同时对数据进行处理和分析，无需等到数据全部收集完成才进行处理。

 

 

 

 

 

 

在深入了解Kinesis之前，我们先来看看什么是数据流。

 

  • 数据流 数据流是从成千上万的数据源上持续产生的数据，并且这些数据都很小（KB级别），它们可能是：

 

电商网站上的订单信息（比如京东，淘宝） 股票信息 游戏信息 社交网络信息（微信/微博的信息流） 地理位置信息（滴滴） 物联网数据

 

  • Kinesis服务 Kinesis目前有不同的功能服务，我们需要了解每一个服务有什么不同。这些服务分别是：

 

Kinesis Data Streams (Kinesis Streams)：使用自定义的应用程序分析数据流 Kinesis Video Streams：捕获、处理并存储视频流用于分析和机器学习（Machine Learning） Kinesis Data Firehose：将数据加载到AWS数据存储上 Kinesis Data Analytics：使用SQL分析数据流 Kinesis Data Streams Amazon Kinesis Data Streams可以实时收集和处理大型数据流，这些数据会被处理并且发送到多种AWS服务中去，也可以生成报警、动态更改定价和广告战略等。

 

  • Kinesis Data Streams由一组分片（Shards）组成，每个shards都有一系列的数据记录，每一个数据记录都有一个分配好的序列号。 数据记录在添加到流之后会保存一定的时间，这个保留周期（Retention Period）默认是24小时，但可以手动设置为最多7天。

 

使用者（Comsumer）会实时地对Kinesis Streams里的内容进行处理，并将最终结果推送到AWS服务，例如Amazon S3，DynamoDB，Redshift，Amazon EMR或者Kinesis Firehose。

 

  • Kinesis Video Streams Kinesis Video Streams主要用来进行实时的视频处理，或者批量进行视频分析。 Kinesis Video Streams可以捕获来自多种设备类型的视频流数据（比如智能手机、网络摄像头、车载摄像头、无人机等）。
  • Kinesis Data Firehose Kinesis Data Firehose可以让我们的实时数据流传输到我们定义的目标，包括Amazon S3，Amazon Redshift，Amazon Elasticsearch Service (ES)和Splunk。
  • Kinesis Data Analytics 使用Kinesis Data Analytics，我们可以使用标准的SQL语句来处理和分析我们的数据流。这个服务可以让我们使用强大的SQL代码来做实时的数据流分析、创建实时的参数

    文章来自
posted @ 2023-02-10 15:46  warrenlucky  阅读(40)  评论(0)  编辑  收藏  举报