眼見為真,有影片、照片,就不會是假新聞嗎?從DeepFake談假新聞
背景資訊
自2020年10月開始,有一個Telegram群組「台灣網紅挖面」,由小玉主持,成員有數千人,將成人影片的主角,換臉成名人,並收取費用,受害者達上百人,絕大多數為女性,其身分涵蓋網紅、藝人、政治人物、主播、甚至素人。2021年10月18日,警方逮補主嫌小玉及共犯,依涉嫌散播猥褻物與妨害名譽等罪移送新北地檢署偵辦。
小玉並不是真的多厲害的電腦高手,據稱,他只是使用一個台幣600元的大陸軟體。不過,其實,如果真的要做,Github其實有個DeepFaceLab,連600元都不用花,照著做就可以完成。但需要時間,影片要先轉成一張張的照片(程式已經寫好了,執行就行了),然後抓出照片中的每一張臉(程式已經寫好了),然後進行訓練(訓練愈久,影片愈像),然後每一張照片都換臉,然後把照片重新結合成影片,就完成了。
Deepfake 深偽技術
DeepFake,其實是個複合字,是Deep Learning技術用於Fake的意思。Deep Learning是機器學習的一種,中文稱為深度學習,簡單的說,是更為複雜的機器學習,是類神經網路技術,深度學習是指多層的人工神經網路)
換臉技術大約在2016年開始興起,最早大概是2017年,在Reddit網站被流傳用於成人影片換臉,大家都很生氣,因此後來Reddit、Twitter與Pornhub也都禁止。Deepfake已經變成專有名詞了,現在意思是:常用來偽造名人性愛影片和復仇式色情媒體,但Deepfake也可以用以製造假新聞,Youtube上可以看到很多假影片。
Facebook與微軟,其實有舉辦競賽,看看是否能偵測出DeepFake的東西。
換臉技術並非新技術
最簡單的換臉技術,就是用Photoshop修圖。用工人智慧,慢慢修。但在AI年代,這不work。可行的換臉的技術,
以前的方法:3D塑模,模型重建追蹤技術。
現在的做法:深度學習
現在做法是用生成對抗網路。
生成網路:從潛在空間(latent space)中,盡量模仿訓練集的樣本,
影片中影像 --> 模仿成訓練集中的影像(名人影像),愈像愈好
判別網路:判別網絡的輸入則為 真實樣本 或 生成網絡的輸出,其目的是將生成網絡的輸出從真實樣本中盡可能分辨出來。
分得越清楚、越正確愈好。
生成網路重新調整,讓模仿的影像,和真實的影像,愈像愈好。
判別網路再盡力去判別。
還有很多可能的偽造:
表情偽造
虛假口語偽造
已知應用
1. 韓國網紅,不真的存在,而是用變臉技術(不是修圖,是根本換臉)
2. 日本部分連續劇],因某些因素替換角色,但不進行重拍,以深偽技術進行臉部替換。
3. 2020年10月2日,日本警視廳逮捕熊本市大二學生林田拓海、兵庫縣工程師大槻隆信、大分縣野間口功也。3人的共通點是利用AI的「深偽(deepfake)」技術製作「假A片」,將女藝人的臉部合成到AV影像,營造出當事人參與A片演出的假象。
以前曾經出現的軟體
Deep Nude:以前其實有Deep Nude這類的軟體,但時代進步很快,2019的DeepNude,現在已經變成是小Case了,這約略是2019年7月的事情。另一個軟體,Deepsukebe,仍在運作使用中,原理類似。
換臉軟體,修圖軟體,原理類似。
其實,很多換臉軟體、修圖軟體,也是異曲同工之妙,主要是使用建模的方式,如果是一張圖片,是2D建模為主,如果是影片,可以採取3D建模,才比較合適。
直播美肌軟體,更難
照片可以慢速換臉,直播影片美肌模式 ===> 必須即時,更難。重點是人臉識別(Face Recognition)和關鍵點檢測(Key Point Detection)。
1. 識別到人臉
2. 定位五官(以及身材)
3. 設置參數
4. 決定五官的比例關係、衰減曲線等等。
5. 進行區域保護,保留邊緣位置,使得五官及其它部位不受影響。
美肌功能運作原理
簡單的說美肌功能,先通過人臉識別分析臉部位置和五官數據,
再以高斯模糊處理(Gaussian Blur)把粗糙的皮膚變得光滑。
於邊緣部分(如皮膚和眉毛之間)進行保護,只有皮膚被模糊處理,五官可以完好保存下來。
「一鍵卸妝」技術,
把原本的模糊雜訊,從新生成回來,更難