GPU加速运算：Nvidia新发表AI视讯串流平台Maxine提供软体开发套件让更多厂商可打造结合AI、提升人员沟通效率的视讯会议服务

网路视讯会议服务整合AI功能已是大势所趋，思科、微软等业者都在持续开发与扩充相关功能，而Nvidia在10月GTC大会上，也宣布推出能够结合多种AI应用的云端原生视讯会议软体开发平台，称为Maxine。它不仅提供减噪、更换虚拟背景、即时翻译等近期常见的特色，也具备了资料压缩与AI改善画面品质、脸部自动对準镜头等功能。

近年来，几个主要的云端视讯会议服务厂商，都在持续强化AI相关应用，例如，思科Webex Assistant（前身为Cisco Spark Assistant，2017年11月推出），他们陆续併购多家公司，也是为了提升他们的视讯会议辅助机制，例如，8月宣布併购BabbleLabs，去年9月买下的Voicea，前年5月併购的Accompany，这些公司都运用了AI技术来提供改善协同作业的解决方案。其他如微软Teams、Zoom等厂商，也不断在前端用户体验与后端系统当中，扩充AI辅助机制。

身为多项AI软硬体技术推动者的Nvidia也不甘示弱，在10月的GTC大会期间，突然宣布他们将推出一套基于云端原生环境所设计的AI 视讯串流平台，名为Maxine，他们将为开发人员提供云端原生AI视讯串流软体开发套件，运用GPU来加速处理，目前已开放先期试用。

Nvidia创办人暨执行长黄仁勋表示，首先，他们可透过AI来感知脸部重要特徵，仅传送特徵变化，在接收器端重新设计脸部动画（AI Video Compression），这样的作法可减少10倍网路频宽；

第二，AI可以重新调整脸部方向，让你与通话的每个人进行眼神接触（Face Alignment），你的脸会重新产生，这项应用可让与会者面部呈现出与每个人眼神接触的效果；

第三，AI可以根据你所说的话语声音，来製作拟真的数位分身3D动画，使其代替你来发言；

第四，AI可以移除背景杂音，提供超高解析度的画面呈现，提升光线较暗时的清晰度、更换与会发言者的背景，甚至为脸重新打光；

第五，有了Jarvis对话式AI，可以做到即时翻译，并提供同步出现在画面底部的隐藏字幕。

他强调，有了Jarvis和Maxine，Nvidia能为现今视讯会议的应用方式，带来全新变革，建构虚拟临场参与（Virtual Present）的未来开会形式。

而Maxine这种AI辅助的视讯会议应用，背后倒底是如何运作的？以影像压缩来说，首先，发话者传送一个参考影像，就像目前的这类系统通常会运用经压缩的视讯串流来进行，接着会传送位于不同地点使用者的眼、鼻、口等周围的要点（key points）。而在接收端的生成对抗网路（Generative Adversarial Network，GAN）会运用初始影像，以及面部的要点，在GPU上重建后续的影像，因此，在网路上仅需传送较少量的资料即可。

除此之外，Maxine也将音讯、影片与交谈式AI等多种功能，结合为单一工具包，可广泛支援多种设备的使用。

能让服务供应商提供超高解析度的影像，以及即时翻译、背景噪音移除、可感知对话前后脉络的隐藏字幕，也能运用脸部自动对準镜头，并且提供虚拟助理与逼真的替身动画。

而这些技术应用形式之所以能成形，最主要仰赖的是Nvidia GPU与内建的Tensor Core核心，以及Jarvis这套同时支援语音与文字处理的交谈式AI软体开发套件，同时也运用了Nvidia发展的多种软体开发套件，像是针对音讯与影片串流可提供高吞吐量的DeepStream，以及用于深度学习推论处理的TensorRT。

至于上述软体开发套件，何以具备AI音讯、AI影片、自然语言理解等处理能力？Nvidia表示，这些都是他们发展的DGX系统系列整合式AI硬体设备产品（DGX A100），耗费数十万小时的训练而来。

而就运作架构而言，Nvidia也特别用了云端原生（Cloud Native），以及基于云端（Cloud-based）来形容Maxine，为何他们这么说？在该公司的新闻稿当中，有一些解释。他们表示，这套软体平台将多种AI微服务执行在Kubernetes丛集，而这些丛集里面包含了Nvidia GPU，而在这样的架构下，开发人员可根据即时出现的处理请求，迅速扩充服务规模，使用者可同时执行多种AI功能，并在应用系统可容忍的延迟程度内，保持良好的效能。

对于视讯会议服务供应商而言，他们也能运用Maxine，可透过云端服务环境提供的Nvidia GPU资源，来执行AI推论工作负载，即可将这些先进的AI功能提供给数十万个使用者。由于Maxine平台本身採用模组化设计，因此开发人员可轻鬆选用所需要的AI功能，将其整合到他们的视讯会议解决方案当中。