首页>财经 >内容

教人工智能创造更有常识的视觉效果

财经2021-08-27 22:04:10
最佳答案如今的智能手机通常使用人工智能(AI)来帮助我们拍出越来越清晰的照片。但是如果你能用这些AI工具从头开始创建整个场景呢?麻省理工学院和国

如今的智能手机通常使用人工智能(AI)来帮助我们拍出越来越清晰的照片。但是如果你能用这些AI工具从头开始创建整个场景呢?

麻省理工学院和国际商用机器公司的团队现在已经完成了“GANpaint Studio”,它可以自动生成逼真的照片图像并编辑其中的对象。除了帮助艺术家和设计师快速调整视觉效果,研究人员还表示,这项工作可能有助于计算机科学家识别“虚假”图像。

麻省理工学院计算机科学与人工智能实验室(CSAIL)的博士生大卫鲍尔(David Bau)将该项目描述为计算机科学家第一次真正能够“用神经元绘制神经网络”——尤其是被称为生成对抗网络(GAN)的流行网络。

GANpaint Studio作为交互式演示在线提供,允许用户上传他们选择的图像,并修改其外观的许多方面,从改变对象的大小到添加全新的项目(如树木和建筑物)。

设计师的青睐

在麻省理工学院教授Antonio Torralba的带领下,作为麻省理工学院-IBM Watson人工智能实验室的一部分,他指导该项目具有巨大的潜在应用。设计师和艺术家可以用它来更快地调整他们的视觉效果。使系统适应视频剪辑将使计算机图形编辑器能够快速合成特定镜头所需的对象的特定排列。(想象一下,比如一个导演拍摄了一个演员的整个场景,却忘了在背景中加入一个对剧情很重要的物体。)

GANpaint Studio还可以通过分析要删除的“工件”单元来改进和调试其他正在开发的gan。在一个不透明的人工智能工具使图像处理比以前更容易的世界里,它可以帮助研究人员更好地理解神经网络及其底层结构。

“现在,机器学习系统就是这些黑匣子,我们并不总是知道如何改进它们。这有点像那些旧电视机,你必须通过敲击它们来修理,”相关的第一作者鲍尔说。关于托拉尔巴监督的团队系统的论文。“这项研究表明,尽管打开电视看着所有的电线可能会很可怕,但那里会有很多有意义的信息。”

一个意想不到的发现是,系统实际上似乎已经学会了一些关于对象之间关系的简单规则。它在某种程度上知道不要把某样东西放在不属于它的地方,就像天空中的一扇窗户,它会在不同的环境中创造出不同的视觉效果。例如,如果图像中有两个不同的建筑,并且系统需要为这两个建筑添加门,则不会简单地添加相同的门-它们可能最终看起来彼此完全不同。

“所有的绘图应用程序都会遵循用户的指示,但如果用户命令将对象放在不可能的位置,我们可能会决定不绘制任何东西,”Torralba说。“这是一款个性很强的绘图工具,为我们了解GAN如何学习表现视觉世界打开了一扇窗。”

GAN是一组为相互竞争而开发的神经网络。在这种情况下,一个网络是专注于创建逼真图像的生成器,第二个网络是鉴别器,其目标是不被生成器欺骗。每次鉴别器“捕获”生成器时,都必须暴露内部推理才能做出决定,这使得生成器越来越好。

“看到这项工作如何让我们直接看到GAN实际学到的东西开始看起来有点像常识,这真的很令人兴奋,”芬兰阿尔托大学的副教授Jaakko Lehtinen说,他没有参与这个项目。“我认为这种能力是拥有一个能够在人类世界发挥作用的自主系统的关键垫脚石。这个系统是无限的、复杂的、不断变化的。”

消除不想要的“假”图像

该团队的目标是让人们更好地控制GAN网络。但他们意识到,随着权力的增加,滥用的可能性就像用这些技术给医生拍照一样。合著者朱俊彦说,他相信更好地理解氮化镓以及它们所犯的错误将有助于研究人员更好地消除假冒。

“你需要先了解你的对手,然后才能进行防守,”CSAIL博士后朱说。"这种理解可能有助于我们更容易地发现假图像."

为了开发该系统,该团队首先确定了与GAN中特定类型的对象(如树)相关的单元。然后,它会单独测试这些单元,看看去掉它们是否会导致一些对象消失或出现。重要的是,他们还确定了导致视觉错误(伪像)的单元,并试图消除它们以提高整体图像质量。

IBM的研究科学家Hendrik Strobelt说:“每当GAN产生非常不切实际的图像时,这些错误的原因过去一直是个谜。”“我们发现这些错误是由特定的神经元触发的,我们可以通过沉默来提高图像质量。”

Bau、Strobelt、Torralba和朱与CSAIL前博士生周、博士后助理Jonas Wulff和本科生William Peebles共同撰写了这篇论文。他们将于下个月在洛杉矶的SIGGRAPH会议上发表演讲。莱蒂宁说:“这个系统为更好地理解GAN模型打开了一扇门,这将有助于我们对GAN进行任何种类的研究。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。