新的唇部同步技术让研究人员将话语纳入巴拉克

2019-06-13 13:12:37 围观 : 91

  新的唇部同步技术让研究人员将话语纳入巴拉克奥巴马的口中

  虽然一些社交媒体用户已经学会了由于Photoshop,视频等图像编辑软件的强大功能而不能以面值拍摄照片。尤其是像美国总统这样的权威人物 - —通常被认为是真实的。但情况可能并非如此。

  

                  华盛顿大学的研究人员已经找到了如何使用完全不相关的音频来合成逼真的唇形同步。为了展示他们项目的力量,他们在整个政治生涯中以各种演讲改变了前总统巴拉克奥巴马的嘴唇动作和姿态。

                  “鉴于总统巴拉克奥巴马的音频,我们综合了一个高质量的视频,他用准确的嘴唇同步说话,合成一个目标视频片段,”该视频YouTube描述的摘录中写道。 “经过几周的每周地址录像,一个反复出现的神经网络学习从原始音频特征到嘴形的映射。

                  “鉴于每个时刻的嘴形,我们合成高质量的嘴纹理,并将其与适当的3D姿势匹配合成,以改变他在目标视频中所说的与输入音轨匹配的内容,”该描述补充道。

                    

                      

                  

                    

                      

                  

                  

                      

                    

                      

                        简报

                        注册即可收到您现在需要了解的热门新闻。查看示例

                      

                          

                               立即注册

                          

                    

                  

                    

                      

                        

                      

                    

                  通过使用原始演讲和修改后的嘴唇同步的并排比较,观众可以立刻看到两个奥巴马视频的差异和惊人的相似性。虽然视频由于不同的座位和灯光布置而改变,但是尽管两个演讲最初包含完全不同的内容,但是物理手势和嘴唇动作看起来很逼真。

                  虽然很容易在考虑与“假新闻”作斗争时考虑这种技术的影响,但研究人员表示,有许多实际应用。视频合成可以让听力受损的人从最初通过电话捕获的音频中读取唇读,并且该技术在电影和视频游戏中的特殊效果方面将具有许多娱乐应用。