首页>动态 >内容

Google开放比8年前更大更完整的Borg丛集追蹤资料供云端技术研究用

动态2021-02-13 16:01:45
最佳答案

经过8年,Google再次释出Borg丛集管理系统的追蹤资料,供外界进行研究与分析,Google提到,从2011年第一次发布Borg丛集追蹤资料以来,机器与软体经过一段时间发展,工作负载也产生变化,工作负载变动的重要性越来越显着。

Google的Borg是一个丛集管理系统,这些丛集的规模,可高达数万台电脑,Borg跨多个丛集执行来自为数庞大应用程式,所产生的成千上万个作业。Borg透过程序层级的效能隔离,执行控制许可、打包任务以及机器共享等功能,达到高利用率的目的。几乎所有的Google服务底层都是仰赖Borg,像是运作Google文件的机器,还有Google云端运算服务的机器,都是由Borg管理。

Borg系统这样的规模以及应用,使其追蹤资料极具研究价值,在8年前,Google发布了为期29天的Borg丛集追蹤纪录,包含了Borg运算丛集中的所有作业提交、调度决定和资源使用情况资料,这份追蹤资料被广泛地用在丛集以及云端研究上,像是丛集调度程序以及云端运算的技术发展上。

而现在技术的发展,已经与8年前不可同日而语,为了供研究人员探索这些变化,Google发布了新的2019年5月追蹤资料,这次释出的资料集比2011年的还大,涵盖8个Google运算丛集,而且还包括每5分钟一次的CPU使用率直方图,而不像之前仅是点样本,还有分配集的相关资料,包括作业用的预留共享资源等,另外,这次资料集还给了Master和Worker关係资讯。

Google强调,这些追蹤资料重点在于资源的请求和使用上,不会包含终端用户资料,或是存取储存系统和服务的模式。现在这些资料已经放在Google BigQuery上,让研究人员存取以及分析。

免责声明:本文由用户上传,如有侵权请联系删除!