AWS推出採用Nvidia T4 GPU的EC2实例加速AI应用及图形运算

AWS现在更新EC2的G系列实例，新推出採用Nvidia T4 Tensor Core GPU的6个规格G4实例，以及裸机实例，这些实例是专为机器学习的训练和推理、影片转码、游戏串流以及远端绘图工作站应用程式设计，Ｇ4目前已经可在全球9个AWS地区开始使用。

G4实例最多能够配置4个Nvidia T4 Tensor Core GPU，每个GPU具有320个Turing Tensor核心、2,560个CUDA核心和16 GB记忆体。T4 GPU除了可以处理机器学习推理、电脑视觉、影片处理和即时自然语言处理外，而且因为拥有RT核心，所以可高效率的进行硬体加速光线追蹤，使用者可以从AWS市集中下载Nvidia Quadro虚拟工作站，执行即时光线追蹤渲染，加快多媒体娱乐和建筑等领域的应用。

G4实例使用由AWS订製的第二代英特尔Xeon可扩展处理器，提供最多64个vCPU，并且建构于AWS Nitro系统之上，Nitro本地端NVMe储存建构区块提供最高达1.8TB容量，而Nitro网路建构模块则支援高速ENA网路。官方提到，英特尔AVX512深度学习增强功能，透过增加一组新的向量神经网路指令（VNNI）扩充了AVX-512，而这些指令加速了推理演算法中，内部迴圈低精度的乘法与加法运算。

最新的AWS Deep Learning AMI（Amazon Machine Image）也已经支援G4实例，官方将g3.16xlarge实例与g4dn.12xlarge实例进行了基準测试，比较两实例使用可扩展深度学习框架MxNet进行推理和训练工作负载的速度，G4速度快了约2倍，而机器学习函式库Tensorflow推理和训练的速度，也快了2倍。基準测试使用FP32数值精度进行运算，官方提到，如果用户使用混合精度FP16以及低精度INT8，则会获得更多的效能加速。

目前G4可以于美东、美西、欧洲和亚太等9个区域使用，AWS提到，他们也将在Amazon SageMaker和Amazon EKS丛集中提供G4。