跳到内容 跳到导航

Research & Ideas

站内搜索

一种新的算法使得容易编辑视频的编辑文字

该工具配备视频编辑人员的副本熟悉的功率和粘贴或添加和删除。

Video camera

梦想成用于视频制作真实的,这种技术无需重新录制的采访,以获得最佳soundbyte。 |盖蒂图片社/izusek

在电视和电影,演员往往效果也很糟糕,否则完美无瑕的表演小位。

其他时候,他们留下了一个关键的字。对于编辑,唯一的解决办法,到目前为止是接受缺陷或昂贵重拍解决这些问题。

想象一下,但是,如果编辑可以使用文本转修改视频。就像文字处理,编辑器可以轻松地添加新词,删除不需要的部分或完全根据需要组装完成的视频拖放重新排列碎片看起来几乎完美无缺的未经训练的眼睛。

视频显示从肩膀扬声器 - 研究人员的葡京体育领导的研究小组对编辑说东头的视频创造了这样的算法。

工作可能是视频编辑和制片人的福音,但确实引起人们的关注,因为人们越来越多地质疑图像和视频的有效性网上,作者说。然而,他们提出了一些指导,使用这些工具,将提醒观众和表演者的视频已经过处理。

“不幸的是,像这样的技术总能吸引糟糕的演员,”说 OHAD炒在葡京体育博士后学者。 “但斗争是值得的,考虑到许多创造性的视频编辑和内容创建应用程序这使。”

读唇

该应用程序使用新副本从各种视频片段,并使用机器学习提取语音操作,转换成那些在出现自然给观众一个最终的视频 - 唇同步的和所有。

“视觉上,它是无缝的。有没有必要重新录制任何东西,说:”炒,谁是一篇关于第一作者 这项研究 发表预发布网站 的arXiv.

这也将是在图形期刊ACM交易。在实验室炒作品 马尼什·阿格雷瓦拉在工程设计和论文的资深作者的学校福里斯特·巴斯基特教授。炒时是研究生与芬克尔斯坦在普林斯顿大学计算机科学家亚当,两年多以前工作的项目开始。

应该演员或表演效果也很糟糕的单词或读错,编辑器可以简单地编辑成绩单和应用程序将各种文字或视频中的其他地方所说的话的部分装配正确的字。它与视频重写,就像一个作家retypes一个拼写错误或不合适字的等价物。该算法确实需要至少40分钟的原始视频的输入,但是,所以它没有工作,只是任何视频序列。

作为转录物被编辑时,从所记录的视频与运动别处该算法选择的段可以被缝合,以产生新的材料。在他们的原始形式,这些视频片段将有不和谐的跳跃削减和其他视觉缺陷。

让视频看起来更自然,该算法应用于智能平滑的运动参数,并呈现期望的结果的三维动画版本。然而,面对呈现还远远没有现实的。作为最后一个步骤,机器学习技术叫做神经渲染转换低高保真数字模型转化为完美的假唱一个写实视频。

以测试他们的系统的能力,研究人员进行了一系列复杂的编辑,包括添加,删除和更改的话,以及翻译的不同的语言,甚至创建完整的句子,从全棉布,仿佛。

在138名参与者人群来源的研究中,球队的编辑被评为时间“真实”的近60%。视觉质量是这样的,它是非常接近原始,但弗里德说有很多改进的余地。

“为电影后期制作的影响是很大的,”说 AYUSH特瓦里,在马克斯普朗克研究所的信息学和论文的第二作者的学生。它提出首次拍摄固定不对话的重拍的可能性。

伦理问题

尽管如此,在合成的假视频的时代,这样的能力提出了重要的伦理问题,炒加入。也有极有价值的,正当的理由想编辑视频这种方式,即费用和精力,需要重新录制或视频内容修复这些缺陷,或自定义现有的由观众的视听视频内容。教学视频可能会微调,以不同的语言和文化背景的,例如,或孩子的故事可以适用于不同的年龄。

“这项技术实际上是关于更好地讲故事,”弗里德说。

炒承认的关注,这样的技术可能被用于非法目的,但是他说,风险是值得的。照片编辑软件,通过类似的清算去了,但最终,人们希望生活在一个世界里,照片编辑软件可用。

作为补救措施,油炸说,有几个选项。一个是开发某种选择加入水印,将确定已被编辑任何内容,并提供编辑的完整台账。此外,研究人员能够开发出更好的取证,如数字和非数字指纹技术来确定视频是否被操纵出于不可告人的目的。事实上,这项研究和其他类似的还构建需要开发更好的操控检测的基本见解。

没有一个解决方案可以解决一切,让观众必须保持怀疑和谨慎,炒说。此外,他补充说,目前已经有很多其他的方式来处理视频,更容易执行。他说,也许是最紧迫的事情是要提高公众对视频的操作意识和教育,让人们可以更好地问题和评估合成内容的真实性。

额外的合着者包括迈克尔zollhöfer,在葡京体育客座助理教授和他的同事在马克斯·普朗克计算机科学研究所,普林斯顿大学和Adobe的研究。

该研究是由褐色学院媒体创新,马普中心视觉计算和通讯,一个欧洲研究理事会资助合并器,Adobe公司的研究和院长的研究在普林斯顿大学办公室资助。