从数据获取到视频换脸整个流程,视频换脸新境界

原标题:视频换脸新境界:CMU不仅给人类变脸,仍可以给花草、天气变脸 | ECCV
2018

(一)获取数据(人脸)

正文申请区块链研习社优质内容协理计划

从数据获取到视频换脸整个流程,视频换脸新境界。近来某个 Reddit 用户将“神奇女侠” 盖尔·加朵(Gal Gadot)
的脸,P到了成材视频上,效果一定不错,而且她使用的是时下火爆的机械学习技能。

圆栗子 发自 凹非寺

内需预备图片数据:四个例外的人脸,种种表情,数量越来越多越好,约1万张以上会有相比较好的替换效果。

正文由币乎社区(bihu.com)内容帮忙部署援救

这一技术的关键在于,替换的脸要和原视频上的脸表情同步。大约原理是经过算法识别出人脸的特定社团——不仅仅是双眼、鼻子、嘴巴的职责,也包蕴颧骨、下巴、脸颊的形态,然后根据那些特征点做替换。近日这一技巧并从未达到以假乱真的程度。

图片 1

貌似采纳的艺术是从视频中截取,操作如下:


图片 2左:P得看不出破绽,右:破绽明显

把一段摄像里的脸部动作,移植到另一段视频的骨干脸孔。

第一下载视频(本例用风行播放器下载)。

前段时间大热的Oben PAI品类,仅凭一张相片就能生成三维头像。

事实上类似的人脸替换技术,早就被广大应用在大片里了。例如半兽人、咕噜、阿凡达,它们都用了动作捕捉(Motion
Capture)技术。动作捕捉技术常用来电影工业,游戏产业,比如:

大家莫不早就习惯如此这般的操作了。

图片 3

图片 4

图片 5《阿蒙森湾盗》中的大卫·Jones(Davy
Jones)图片源于:gamedev.stackexchange.com

图片 6

划分摄像片段(本例用爱剪辑)。

前几天牵线的Deepfakes,是经过人为智能达成了视频换脸老百姓使用高端娱乐显卡就能做到
《速度与感情7》中的换脸技术
。(因为主演意外谢世《速度与情感7》剧组被迫接纳过换脸技术。)

图片 7小岛秀夫的《身故搁浅》,几时发售啊?(打岔)图片来源于:dualshockers.com

就是目标主演并不是人类,大约也算不上精粹。眼睛鼻子嘴,至少零件齐全

因为目标是为着截取人面部,所以剪切的视频片段很强调。

图片 8

图片 9扮作深井冰,哦不,史矛革的卷福
图片来源:businessinsider.com.au

那么,怎样的动迁才可走出那些范围,让这么些星球上的万物,都有时机领取视频改造的雨水?

视频分辨率要高清(否则截取的人脸像素太低);片段中目的人脸比较大、卓绝、最好就是唯有她协调一个人画面特写的录像片段。

进程与心理7的换脸技术

严谨说,这一技巧属于动作捕捉技术的一个小类,叫面部捕捉(face
capture)。那多少个脸上的黄点,是神色变化中的关键点,就像是脸的“关节”一样,计算机只需求那些音讯就能合成表情。而在面部识别技术中,它被称作面部追踪(face
tracking)。

图片 10

图片 11

图片 12

图片 13满脸的点是“关节”,连上线成为骨骼.图片源于:petapixel.com

按着你想要的音频开花:中老年神情包利器

从视频中截取图片(本例用Ffmpeg软件)。

Deepfakes技术呈现

大部经贸文章只是用那种技能打造奇幻生物,但是工业光魔集团(Industrial
Light & Magic)更进一步,在银幕上复活了一度故影星。

发源卡耐基梅隆大学的集体,开发了自行变身技能,不论是花花草草,如故万千气象,都能自如转换。

此刻拿走有目标人脸的一张张图片。

图片 14

图片 15左:合成的(Synthetic)Peter·库欣扮演的威尔霍夫·塔金,右:影星盖·亨利图片源于:nytimes.com

图片 16

接下来,必要删除不要求的图纸(如有非目的人脸的,那就是数额清洗)。

名列三甲:钢铁之躯

恐怖片演员Peter·库欣逝世于1994年。二零一六年在影片《星球大战外传:侠盗一号》中,技术人员将她拉进现代的巨幕。那位“现代”影星的背后是别的一位艺人盖·亨利,技术人员捕捉了盖·亨利的神采,然后合成了数字版的Peter·库欣。固然两位艺人的脸挺相似的,不过技术人士依旧要拍卖很多细节难点,比如Peter·库欣发“啊”那么些音的时候是不动上嘴唇的。

云,也变得殷切了

图片 17

图片 18

这一技术引发了无数争辨,一些人代表无法接受。固然电影获得了画像授权,如故有部分伦理难点亟待回答,大家应当在荧幕上复活故去的饰演者么?

恐怕是满怀超过大前辈Cycle-GAN(来自朱俊彦集团)
的表示,团队给本人的GAN起了个要命环保的名字,叫Recycle-GAN

然后写几行代码检测图片中的人脸并截取(利用OpenCV)。

尼古拉斯·凯奇

深度学习,另辟蹊径

动作捕捉技术的关键在于识别人的表情,特别是脸蛋那个主要性的位点。而深度学习技术也能满意这一渴求,一些研究团队依然演示了狗续金貂美利坚联邦合众国前总统小布什,前美利坚合众国总统,现任总统特朗普,以及俄联邦管辖普金的视频。

图片 19Face2Face
算法演示,下边的人提供表情音信,上边的人提供脸的信息 图片来自:QUARTZ

纵深学习技能和那一个专门的电影工业技术相比较,获得的结果要粗糙很多,更便于辨别出来,可是它也要有利于很多。谷歌、微软、亚马逊(亚马逊)那几个大商厦的软件技术和平台都是光天化日的,深度学习技术火速发展,很多舆论都在切磋者之间共享,而且家用级其余显卡就能处理深度学习算法,不肯定要用到云总计和最佳计算机等技术。

但那还没完,面部捕捉技术一度能手机上用了,比如 Nokia X 的 Animoji
技术。可以用于识别面部表情的技巧就能用于伪造表情。

图片 20苹果的
Animoji 图片来源于:businessinsider.com

图片 21苹果官方的演示
图片源于:medium.com

一对技术爱好者也正在将这一技术移植到安卓手机上,我指出谨慎使用这一个app。此外也盼望手机的软硬件厂商更加专注讯息的鹤壁,我们在收获便利的同时,手机也蕴藏了越多的私密音信,手机和电脑系统本身的安全性也值得花愈来愈多的马力去尊重,而不是无论打个补丁然后又让补丁失效。

好啊,已经能伪造摄像了,但声音仍然造不了假的?吧?

并不是,Adobe 公司在二零一六年示范了 Voco
技术,他能让您简不难单输入文字就能以假乱真人的音响。到近期为止那项技艺都不曾见到商业化的迹象,技术演示进程中Adobe表示,他们会在技术上做类似水印的东西,接济人识别假冒的动静。

司空眼惯,加拿大的AI创业公司 Lyrebird
在二〇一七年3月份宣称,只要有1分钟的样书,他们就能模仿出你的声息。那听起来比
Adobe 的技能还要夸张,因为 Adobe 声称它们必要20分钟的样书。

来看此间,可能您曾经懵了。所以。。。如何做?

实际上利用特效技术伪造摄像很已经有了,Zach King
就是种种翘楚。有些只是游玩,有些东西却是别有用心。同理可得,毫无盲目相信网上看看的视频

图片 22居家只是游戏一下啊
图片来源:pinterest.com

其后,随意放在网上的肖像、视频、声音、文字都亟需认真去对待,因为它们会被人用来伪造大家协调。大家即使不是权贵富豪,但也禁不起损失。

本人想已经有人发现到假冒摄像的残害,起头做那类识别了,很快创业集团就会如千千万万般出现。本文作者将从技术和影响力两上边跟踪那些业务的展开。

那位选手,入选了ECCV 2018

图片 23

图片 24

Recycle之道,时间精晓

检测并截取的人脸(用于输入到神经网络中磨练提取特征)。

夺宝奇兵

Recycle-GAN,是一只无监控学习的AI。

人脸替换的听从极度信赖于那一个截取到的人脸图片的质量:

图片 25

不成对的二维图像数据,来操练视频重定向(Video Retargeting)
并不易于:

即使截取的人脸带有了过多的纷扰部分,那么替换效果就很差。


一是,倘使没有成对数据,那在视频变身的优化上,给的限制就不够,简单暴发不佳局地极小值
(Bad Local Minima) 而影响生功能果。

直接重复后面的步骤,直到获取丰硕多的人脸(五个需要调换的人脸)。

Oben PAI 让明星们所有编造分身,在粉丝的无绳电话机里唱歌跳舞。

二是,只依靠二维图像的空间信息,要学习视频的风格就很不方便。

图片 26

Deepfakes 则更索性,将来拍影片全程用替身,明星都不用参与了

图片 27

然后再写几行代码修改人脸图片的宽高为统一大小,如256×256;

当然,就是不想拍的内容,也拦不住网友们恶搞。被恶搞最多是特朗普、
Nicholas·凯奇。很快,会有愈来愈多个人以协调意想不到的主意出现在显示器上,真假难辨。所以眼见也不必然为实。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图