首页 >每日动态 > 内容

GPU加速运算:Nvidia新发表AI视讯串流平台Maxine提供软体开发套件让更多厂商可打造结合AI、提升人员沟通效率的视讯会议服务

每日动态 2021-02-10 22:01:38

网路视讯会议服务整合AI功能已是大势所趋,思科、微软等业者都在持续开发与扩充相关功能,而Nvidia在10月GTC大会上,也宣布推出能够结合多种AI应用的云端原生视讯会议软体开发平台,称为Maxine。它不仅提供减噪、更换虚拟背景、即时翻译等近期常见的特色,也具备了资料压缩与AI改善画面品质、脸部自动对準镜头等功能。

近年来,几个主要的云端视讯会议服务厂商,都在持续强化AI相关应用,例如,思科Webex Assistant(前身为Cisco Spark Assistant,2017年11月推出),他们陆续併购多家公司,也是为了提升他们的视讯会议辅助机制,例如,8月宣布併购BabbleLabs,去年9月买下的Voicea,前年5月併购的Accompany,这些公司都运用了AI技术来提供改善协同作业的解决方案。其他如微软Teams、Zoom等厂商,也不断在前端用户体验与后端系统当中,扩充AI辅助机制。

身为多项AI软硬体技术推动者的Nvidia也不甘示弱,在10月的GTC大会期间,突然宣布他们将推出一套基于云端原生环境所设计的AI 视讯串流平台,名为Maxine,他们将为开发人员提供云端原生AI视讯串流软体开发套件,运用GPU来加速处理,目前已开放先期试用。

Nvidia创办人暨执行长黄仁勋表示,首先,他们可透过AI来感知脸部重要特徵,仅传送特徵变化,在接收器端重新设计脸部动画(AI Video Compression),这样的作法可减少10倍网路频宽;

第二,AI可以重新调整脸部方向,让你与通话的每个人进行眼神接触(Face Alignment),你的脸会重新产生,这项应用可让与会者面部呈现出与每个人眼神接触的效果;

第三,AI可以根据你所说的话语声音,来製作拟真的数位分身3D动画,使其代替你来发言;

第四,AI可以移除背景杂音,提供超高解析度的画面呈现,提升光线较暗时的清晰度、更换与会发言者的背景,甚至为脸重新打光;

 

第五,有了Jarvis对话式AI,可以做到即时翻译,并提供同步出现在画面底部的隐藏字幕。

他强调,有了Jarvis和Maxine,Nvidia能为现今视讯会议的应用方式,带来全新变革,建构虚拟临场参与(Virtual Present)的未来开会形式。

而Maxine这种AI辅助的视讯会议应用,背后倒底是如何运作的?以影像压缩来说,首先,发话者传送一个参考影像,就像目前的这类系统通常会运用经压缩的视讯串流来进行,接着会传送位于不同地点使用者的眼、鼻、口等周围的要点(key points)。而在接收端的生成对抗网路(Generative Adversarial Network,GAN)会运用初始影像,以及面部的要点,在GPU上重建后续的影像,因此,在网路上仅需传送较少量的资料即可。

除此之外,Maxine也将音讯、影片与交谈式AI等多种功能,结合为单一工具包,可广泛支援多种设备的使用。

能让服务供应商提供超高解析度的影像,以及即时翻译、背景噪音移除、可感知对话前后脉络的隐藏字幕,也能运用脸部自动对準镜头,并且提供虚拟助理与逼真的替身动画。

而这些技术应用形式之所以能成形,最主要仰赖的是Nvidia GPU与内建的Tensor Core核心,以及Jarvis这套同时支援语音与文字处理的交谈式AI软体开发套件,同时也运用了Nvidia发展的多种软体开发套件,像是针对音讯与影片串流可提供高吞吐量的DeepStream,以及用于深度学习推论处理的TensorRT。

至于上述软体开发套件,何以具备AI音讯、AI影片、自然语言理解等处理能力?Nvidia表示,这些都是他们发展的DGX系统系列整合式AI硬体设备产品(DGX A100),耗费数十万小时的训练而来。

而就运作架构而言,Nvidia也特别用了云端原生(Cloud Native),以及基于云端(Cloud-based)来形容Maxine,为何他们这么说?在该公司的新闻稿当中,有一些解释。他们表示,这套软体平台将多种AI微服务执行在Kubernetes丛集,而这些丛集里面包含了Nvidia GPU,而在这样的架构下,开发人员可根据即时出现的处理请求,迅速扩充服务规模,使用者可同时执行多种AI功能,并在应用系统可容忍的延迟程度内,保持良好的效能。

对于视讯会议服务供应商而言,他们也能运用Maxine,可透过云端服务环境提供的Nvidia GPU资源,来执行AI推论工作负载,即可将这些先进的AI功能提供给数十万个使用者。由于Maxine平台本身採用模组化设计,因此开发人员可轻鬆选用所需要的AI功能,将其整合到他们的视讯会议解决方案当中。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。