Google添加Cloud Dataproc可选元件更完善支援自动化与先占式运算资源

Cloud Dataproc加入许多新的可选元件
Google为其託管Hadoop及Spark服务Cloud Dataproc加入许多新功能,使用者在安全控制上,除了GCP原生的IAM外,现在还可以使用Kerberos安全元件,Google更新Cloud Spanner和Cloud Storage的连接器,并新释出BigQuery连接器,强化Cloud Dataproc与其他服务的互通性,也释出了自动扩展政策API ,提供使用者控制扩展的手段。
最新的Cloud Dataproc映像档为1.4版本,内建Apache Spark 2.4、Python 3与Miniconda 3,在映像档1.4这个版本预设1TB磁碟大小,确保系统能维持一致的高效I/O。在Cloud Dataproc上,使用者可以指定初始操作(Initialization actions),初始操作能让使用者客製化丛集,预先安装工作需要的软体,之后便可以直接发送工作,不再需要手动设定环境,执行的时机在Cloud Dataproc丛集设置完成之后,系统会在每一个节点执行初始操作。
现在Google增加了一系列新的初始操作,包含使用者可以使用开源监控工具Apache Prometheus,其中的Prometheus查询语言PromQL,能提供使用者即时选择并汇总时间序列资料,Google提到,这在Cloud Dataproc日誌记录的进阶时间序列分析上特别有用。需要深度学习工作的使用者,现在可以使用TonY(Tensorflow On YARN),目前支援TensorFlow和PyTorch,可以将单节点或是分散式训练工作发布成Hadoop应用程式执行。
在创建Cloud Dataproc丛集时,除了会自动安装标準Hadoop生态系统元件外,使用者也可以自行安装可选元件,Google增加了可使用的元件数量,同时提供一键安装的功能。这次新增的元件比较别的是Apache Druid高效即时分析资料库,其提供分散式OLAP资料储存,并与大资料生态系统许多工具整合情况良好。Druid元件会在主节点安装Coordinator和Broker等服务,而在工作节点上安装Historical与Middle Manager等服务。
在安全元件方面,Google提到,虽然许多用户使用GCP原生的IAM实作安全控制,但回应不少用户的要求希望能使用Kerberos,因此这次也整合了Kerberos安全元件,可以直接将Cloud Dataproc登入绑定到微软Active Directory,阻挡在Cloud Dataproc实例上以root身份执行所有工作,还能防止同一个丛集上的用户互相干扰。
Cloud Dataproc新加入了Component Gateway,为Cloud Dataproc核心和可选元件提供网页端点安全存取的功能,像是Hadoop和Apache Spark所提供的网页介面就能获得保护,Component Gateway会自动安装Apache Knox作为元件配置反向代理,只有拥有dataproc.clusters.use IAM权限的使用者才能简单地存取网页介面。
在自动化的管理上,Cloud Dataproc现在提供了自动扩展政策API,这是一个自动化丛集资源管理机制,支援丛集自动扩展。自动扩展政策本身是个可重用的配置档案,描述丛集使用的扩展规则以及规模,也定义了扩展的边界和频率等,让使用者能以高精度的方式控制丛集生命周期中的资源。
为了节省运算资源成本,Cloud Dataproc添加了增强灵活模式,适用于先占式虚拟机器以及自动扩展上。现在当Cloud Dataproc节点因为节点丢失不可用时,有状态资料将被保留,这将能最大程度降低对现有工作影响,并允许丛集规模快速缩减,Google提到,虚拟机器的抢占可能会破坏应用程式,导致作业延迟甚至完全失败,增强灵活模式能透过保存中介资料来缓解这些问题。
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
截至2023年,大众高尔夫GTI的最新款车型为2024款。关于2025款高尔夫GTI的价格和配置信息,目前尚未有官方发布...浏览全文>>
-
在当今社会,汽车已经成为人们日常生活中不可或缺的一部分。对于许多家庭来说,选择一辆适合自己的车不仅关乎...浏览全文>>
-
随着汽车市场的不断变化与发展,2025款大众CC以其优雅的设计和卓越的性能吸引了众多消费者的关注。作为一款备...浏览全文>>
-
安徽阜阳探影新车报价2023款大公开:买车不花冤枉钱随着汽车市场的不断发展,消费者对于购车的性价比和实用性...浏览全文>>
-
在安徽滁州地区,上汽大众途观L是一款备受关注的中型SUV。途观L凭借其宽敞的空间、强劲的动力以及丰富的配置,...浏览全文>>
-
关于2025款大众ID 系列车型在安徽淮南的售价及落地价问题,我们可以从以下几个方面进行详细分析。大众ID 系...浏览全文>>
-
安徽阜阳帕萨特多少钱?选车秘籍与落地价全攻略在安徽阜阳,选择一款适合自己的帕萨特车型需要综合考虑预算、...浏览全文>>
-
在当今的汽车市场中,新能源汽车因其环保性和经济性逐渐成为消费者关注的焦点。对于生活在安徽阜阳地区的朋友...浏览全文>>
-
随着新能源汽车市场的快速发展,消费者对于新能源车型的关注度持续攀升。作为一款备受瞩目的高端新能源车型,...浏览全文>>
-
在2024款的汽车市场中,一汽-大众ID 6 CROZZ以其豪华配置和出色的性能吸引了众多消费者的关注。作为一款纯电...浏览全文>>
- 安徽阜阳探影新车报价2023款大公开,买车不花冤枉钱
- 安徽阜阳帕萨特多少钱?选车秘籍与落地价全攻略
- 安徽阜阳途锐新能源多少钱?选车秘籍与性价比大公开
- 奇骏试驾需要注意什么
- 长安欧尚520试驾操作指南
- 试驾哈弗H6操作指南
- 安徽阜阳探影落地价实惠,配置丰富,不容错过
- 丰田雷凌预约试驾操作指南
- 滁州ID.4 X多少钱 2025款落地价,换代前的购车良机,不容错过
- QQ多米最新价格2025款,各配置车型售价全揭晓,性价比之王
- 阜阳ID.4 CROZZ新款价格2025款多少钱?选车指南与落地价全解析
- 阜阳ID.7 VIZZION多少钱?选车秘籍全攻略
- 滁州大众Polo最新价格2024款,各配置车型售价一目了然
- 天津滨海大众Polo落地价,各配置车型售价一目了然
- 亳州途观X多少钱?选车秘籍全攻略
- 奥迪e-tron GT试驾,如何享受4S店的专业服务?
- 安庆探影落地价全解,买车必看的省钱秘籍
- 岚图梦想家 2025新款价格大揭秘,各配置车型售价一览表
- 山东济南长安启源E07多少钱 2024款落地价,最低售价19.99万起,入手正当时
- 天津滨海T-ROC探歌新车报价2025款,购车前必看的费用明细