首页>数码 >内容

AWS正式推出託管Kafka串流服务MSK

数码2021-02-22 08:02:57
最佳答案

AWS在re:Invent 2018大会上首先释出託管Apache Kafka串流服务(Amazon Managed Streaming for Apache Kafka,MSK)的消息,现在已经脱离预览阶段推出正式服务。

Apache Kafka是一个分散式的串流平台,其使用发布以及订阅的架构,将产生串流资料的应用程式与利用串流资料的角色分离。Apache Kafka让使用者可以捕捉像是串流事件、交易、物联网事件,或是应用程式与日誌等串流资料,还能即时进行分析,连续不间断地转换资料,并再将收到的资料经过处理后,分散到其他的资料湖和资料库中。

AWS提到,使用者在生产环境中要配置Apache Kafka,需要克服一些障碍,特别是在后续的管理以及规模扩展工作上,而现在AWS正式推出的MSK服务,则由AWS负责管理任务,让使用者可以简单地配置使用,而且由于近几个版本的Kafka,都需要与节点协调程式Zookeeper共同使用,因此MSK服务也只要简单地设定,就能让Kafka与ZooKeeper一同运作。

使用MSK服务,用户可以在几分钟内创建丛集,并使用AWS身分管理与存取控制IAM管理丛集操作,也能透过ACM(AWS Certificate Manager)完全託管的TLS私密凭证颁发机构授权客户端,以TLS加密资料,并使用KMS(AWS Key Management Service)中的金钥加密其他资料。当伺服器发生故障时,MSK还会替换故障机器,自动执行修补工作,用户可以从Amazon CloudWatch中,监控服务的状态指标。

AWS表示,MSK与Kafka 1.1.1和2.1.0版本完全相容,因此用户可以在AWS直接执行原本的Kafka应用程式以及工具,而不需要修改任何的程式码,用户能使用开源工具MirrorMaker,将资料从现有的Kafka丛集直接搬移到MSK上。

MSK的计价方式是以Kafka Broker以及配置储存每小时计价,MSK的资料传输费率与原本的AWS资料传输相同,而丛集所使用的Zookeeper节点,还有区域丛集的Broker和Zookeeper节点互传资料是不额外收费的。现在用户已经可以在大部分的AWS区域使用到MSK服务,包括北美、亚洲与欧洲。

免责声明:本文由用户上传,如有侵权请联系删除!