【re:Invent2018】加速企业打造ML模型AWS机器学习工具SageMaker平台新增多项新功能

每日动态2021-02-26 10:02:35
最佳答案

图片来源:

AWS

AWS近日宣布在ML自动建置和部署工具SageMaker的平台中,新增多项新功能,包含语义分割演算法(semantic segmentation)、搜寻ML训练模型的功能Search,以及自动优化ML模型编译器Neo。

首先,AWS加入了语义分割演算法,原先该平台中已内建两个热门的电脑视觉演算法,包含影像分类和物件侦测,影像分类演算法将影像分类到预先定义的类别中,而物件侦测演算法则能标示出物体位置定界框(bounding box)并识别该物体。此外,AWS还新增了搜寻ML训练模型的功能Search,让开发人员可以从平台中数千个机器学习模型中,找到最适合的训练模型,加速企业建置机器学习模型的开发和实验阶段,目前该功能为测试版,使用该功能将不会有额外的收费。最后,为了协助企业提升ML模型效能,AWS还新增了自动优化ML模型的编译器Neo,利用神经网路,在不减少準确度的情况下,自动将ML模型提升2倍效能。

使电脑视觉模型更加完善,AWS新增语义分割演算法

语义分割是将图像中每个Pixel,用已标示的资料集来分类,给予每个Pixel标上语义标籤,分割后输出的结果通常是用不同的RGB值来表示,若分类值小于255,则用灰阶值表示,因此,输出的结果是一个矩阵或是灰阶图,也被称为分割遮罩,透过AWS的语义分割演算法,企业可以用自己的资料集训练自家的模型,也能用预先训练的模型,该语义分割演算法是透过MXNet Gluon框架和Gluon CV工具包打造的,提供3种内建的最新的演算法来训练语义分割模型,包含全卷积网路分割(FCN)、空间金字塔结构网路(PSP)和Google开源的语义分割模型DeepLab-V3。

上述的所有演算法都包含编码器和解码器,编码器是负责产生图像特徵图的网路,而解码器则是用特徵图建置分割遮罩,编译器的部分,AWS提供在ImageNet分类器预先训练的ResNet50和ResNet101给开发人员选择,这些是已经经过优化的FCN和PSP,另外,使用者也可以选择未经训练的网路,自己从头做起。

该语义分割演算法能透过P2/P3种类的AWS EC2实例,在一台机器的配置下训练,模型其实能在所有AWS SageMaker支援的CPU和GPU实例中训练,但是,由于卷积式网路能够在GPU机器上充分地利用数学函式库,在CPU机器训练会比GPU机器昂贵许多,因此,AWS限制只能在GPU机器上训练。

加速建置ML模型开发与实验时程,AWS新增搜寻最相关训练模型功能Search

除了新增语义分割演算法之外,为了能够加速企业建置ML模型的开发和实验工作,AWS还新增了搜寻ML训练模型的功能Search,让开发人员可以从平台中数千个机器学习模型中,找出相关的训练模型,该功能透过Management Console和AWS SDK APIs推出,并不会额外收取其他费用。

AWS表示,开发机器学习模型需要不间断地实验和观察,举例来说,当企业尝试用新的学习演算法,或是调整模型的超参数时,必须持续观察模型準确度和效能的变化,反覆的优化过程,可能会产上数百个版本的模型,最后还得找出最佳的模型,导致拖延到部署模型的时程。

这次推出的搜寻功能,能够让企业利用定义的属性,快速找出最相关的模型进行训练,像是使用的学习演算法、超参数的设定、训练资料集,甚至是企业为训练模型工作标上的标籤等,透过搜寻功能,企业和研究团队都能够快速找到与特定业务相关的模型,除此之外,还能根据效能指标进行排名,找出最佳的模型。

图片来源:AWS

提升2倍效能,AWS推出编译器Neo自动优化ML模型

最后,AWS将机器学习分为两个阶段训练和推断,训练的过程是利用ML演算法建置模型,找出有意义的模式,而这个过程通常需要大量的储存空间和计算资源,推断则是用训练过的模型,产生模型未处理过资料的预测结果,开发者对推断过程主要的疑虑是优化延迟和生产力问题,也就是产生一次预测结果需要多少时间,以及平行处一次可以执行多少预测工作,针对这两个问题,预测环境所用的硬体架构是最大的影响因素,虽然可以针对硬体架构调整模型,但是调整的工具耗时且容易出错,因此,多数开发人员即使面对不同的硬体架构,还是会部署相同的模型,而牺牲效能。

针对这个问题,AWS于ML自动建置和部署工具SageMaker的平台中,推出自动优化ML模型的编译器Neo,使ML模型经过一次训练,就能达到最佳效能,AWS表示,能够在不影响模型準确度的情况下,将效能提升为2倍。Neo支援TensorFlow、Apache MXNet、PyTorch、ONNX和XGBoost等框架,硬体架构的部分支援ARM、Intel和Nvidia,此外,Neo已透过Apache软体授权方式开源释出,允许硬体厂商订做支援Neo的处理器和装置。

图片来源:AWS

免责声明:本文由用户上传,如有侵权请联系删除!