首页 >科技 > 内容

AWS推出採用Nvidia T4 GPU的EC2实例加速AI应用及图形运算

科技 2021-02-20 06:05:08

AWS现在更新EC2的G系列实例,新推出採用Nvidia T4 Tensor Core GPU的6个规格G4实例,以及裸机实例,这些实例是专为机器学习的训练和推理、影片转码、游戏串流以及远端绘图工作站应用程式设计,G4目前已经可在全球9个AWS地区开始使用。

G4实例最多能够配置4个Nvidia T4 Tensor Core GPU,每个GPU具有320个Turing Tensor核心、2,560个CUDA核心和16 GB记忆体。T4 GPU除了可以处理机器学习推理、电脑视觉、影片处理和即时自然语言处理外,而且因为拥有RT核心,所以可高效率的进行硬体加速光线追蹤,使用者可以从AWS市集中下载Nvidia Quadro虚拟工作站,执行即时光线追蹤渲染,加快多媒体娱乐和建筑等领域的应用。

G4实例使用由AWS订製的第二代英特尔Xeon可扩展处理器,提供最多64个vCPU,并且建构于AWS Nitro系统之上,Nitro本地端NVMe储存建构区块提供最高达1.8TB容量,而Nitro网路建构模块则支援高速ENA网路。官方提到,英特尔AVX512深度学习增强功能,透过增加一组新的向量神经网路指令(VNNI)扩充了AVX-512,而这些指令加速了推理演算法中,内部迴圈低精度的乘法与加法运算。

最新的AWS Deep Learning AMI(Amazon Machine Image)也已经支援G4实例,官方将g3.16xlarge实例与g4dn.12xlarge实例进行了基準测试,比较两实例使用可扩展深度学习框架MxNet进行推理和训练工作负载的速度,G4速度快了约2倍,而机器学习函式库Tensorflow推理和训练的速度,也快了2倍。基準测试使用FP32数值精度进行运算,官方提到,如果用户使用混合精度FP16以及低精度INT8,则会获得更多的效能加速。

目前G4可以于美东、美西、欧洲和亚太等9个区域使用,AWS提到,他们也将在Amazon SageMaker和Amazon EKS丛集中提供G4。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。