" 一种新的算法,使得编辑的视频一样简单编辑文本|工程斯坦福学校

      <kbd id="7bxzid9h"></kbd><address id="9sno60ar"><style id="pnw9slvk"></style></address><button id="9oqjarkc"></button>

          跳到内容 跳到导航

          Research & Ideas

          站内搜索

          一种新的算法,使得编辑的视频一样简单编辑文本

          该工具配备视频编辑人员的副本熟悉的功率和粘贴或添加和删除。

          Video camera

          梦想成用于视频制作真实的,这种技术无需重新录制的采访,以获得最佳soundbyte。 |盖蒂图片社/izusek

          在电视和电影,演员往往效果也很糟糕,否则完美无瑕的表演小位。

          其他时候,他们留下了一个关键的字。对于编辑,唯一的解决办法,到目前为止是接受缺陷或昂贵重拍解决这些问题。

          想象一下,但是,如果编辑可以使用文本转修改视频。就像文字处理,编辑器可以轻松地添加新词,删除不需要的部分或完全通过拖动,并根据需要组装完成的视频,看起来几乎完美无缺的外行人拖放重新排列碎片。

          研究人员的申博体育领导的团队创​​造了编辑说话的头视频这样的算法 - 视频展示从肩膀扬声器。

          工作可能是视频编辑和制片人的福音,但也引起人们的关注,因为人们越来越多地质疑图像和视频的有效性网上,作者说。然而,他们提出了一些指导,使用这些工具,将提醒该视频已被操纵观众和表演者。

          “不幸的是,像这样的技术总能吸引糟糕的演员,”说 OHAD炒在申博体育博士后学者。 “但斗争是值得的,考虑到许多创造性的视频编辑和内容创建应用程序这使。”

          读唇

          该应用程序使用新副本提取从各种视频片段,并使用机器学习语音操作,转换成那些在出现自然给观众一个最终的视频 - 唇同步的和所有。

          “视觉上,它是无缝的。有没有必要重新录制任何东西,说:”炒,谁是一篇关于第一作者 这项研究 发表出版前网站 的arXiv.

          这也将是在图形期刊ACM交易。在实验室炒作品 马尼什·阿格雷瓦拉在工程设计和论文的资深作者的学校福里斯特·巴斯基特教授。炒时是研究生与普林斯顿大学计算机科学家亚当·芬克尔斯坦,两年多以前工作的项目开始。

          应该演员或表演效果也很糟糕的单词或读错,编辑器可以简单地编辑成绩单和应用程序将各种文字或视频中的其他地方所说的话的部分装配正确的字。它与视频重写的等价物,很像一个作家retypes拼写错误的或不适合的单词。该算法确实需要至少40分钟的原始视频的输入,但是,这样就没有仅仅用任何视频序列工作。

          作为转录物被编辑时,所述算法选择从与运动中所记录的视频片段的其他地方,可以被缝合,以产生新的材料。在他们的原始形式,这些视频片段将有不和谐跳削减和其他视觉缺陷。

          让视频看起来更自然,该算法应用于智能平滑的运动参数,并呈现一个三维动画版所期望的结果的。然而,面对呈现还远远没有现实的。作为最后一个步骤,一个叫神经渲染机器学习技术转换的低高保真数字模型转化为完美的假唱一个写实视频。

          以测试他们的系统的能力,研究人员进行了一系列复杂的编辑,包括添加,删除和更改的话,以及翻译的不同的语言,甚至创建完整的句子,从全棉布,仿佛。

          在138名参与者人群来源的研究中,球队的编辑被评为时间“真实”的近60%。视觉质量是这样的,它是非常接近原始,但弗里德说有很多改进的余地。

          “为电影后期制作的影响是很大的,”说 AYUSH特瓦里,在马克斯普朗克研究所的信息学和论文的第二作者的学生。它提出首次拍摄固定不对话的重拍的可能性。

          伦理问题

          尽管如此,在合成的假视频的时代,这样的能力提出了重要的伦理问题,炒加入。也有极有价值的,正当的理由希望这种方式,即重新录制或视频内容修复这些缺陷,或自定义现有的由观众的视听视频内容所需的费用和精力来编辑视频。教学视频可能会微调,以不同的语言和文化背景的,例如,或孩子的故事可以适用于不同的年龄。

          “这项技术实际上是关于更好地讲故事,”弗里德说。

          炒承认,这种技术可能被用于非法目的的担忧,但是他说,风险是值得的。照片编辑软件,通过类似的清算去了,但最终,人们希望生活在一个世界里,照片编辑软件可用。

          作为补救措施,油炸说,有几个选项。一个是开发某种选择,在水印,将确定已被编辑任何内容,并提供编辑的完整台账。此外,研究人员能够开发出更好的取证,如数字和非数字指纹技术来确定视频是否被操纵出于不可告人的目的。事实上,这项研究和其他类似的还构建需要开发更好的操控检测的基本见解。

          没有一个解决方案可以解决一切,让观众必须保持怀疑和谨慎,炒说。此外,他补充说,目前已经有很多其他的方式来处理视频,更容易执行。他说,也许是最紧迫的事情是要提高公众对视频的操作意识和教育,让人们可以更好地质疑和评估合成内容的真实性。

          额外的合着者包括迈克尔zollhöfer,在申博体育客座助理教授和他的同事在马克斯·普朗克计算机科学研究所,普林斯顿大学和Adobe的研究。

          这项研究是由媒体创新,马普中心视觉计算和通讯,一个欧洲研究理事会资助合并器,Adobe公司的研究和院长的研究在普林斯顿大学的办公室棕色研究所资助。