Skip to content
Essay

대선 후보도 얼굴 복붙이 되나요? (Feat. 가상인간 & 딥페이크)

Writer: 박재용
report-jaeyongpark-deepfake

Essay

이슈에 관한 다양한 오피니언을 엿봅니다

딥페이크와 페이스 스와프를 활용한 가짜 영상은 SNS을 통해 퍼지면서 사람들에게 큰 혼란을 주고 있습니다. 기술의 발전으로 가짜 뉴스를 만드는 게 가능해졌어요. SNS에서 뉴스와 영상을 볼 때 조금 더 신중해질 필요가 있답니다. 이런 기술은 예술에도 쓰이면서 흥미진진한 장면을 구현하는데요. 저희가 사랑하는 필자 박재용 님이 쉽고 재미있는 리포트를 써주셨어요. 이번 아티클로 딥페이크와 페이스 스와프 기술을 손쉽게 이해할 수 있답니다!

‘왜 도리도리 안 하는 거죠?’라는 질문에 두 손을 모으고 진지한 표정으로 등장한 AI 윤석열은 “아쉽지만 프로그램의 한계입니다. AI 윤석열에 ‘도리도리’가 구현될 수 있도록 대한민국 AI 산업 부흥을 함께 이뤄내겠습니다. 감사합니다.”라고 말했다.
– 연합뉴스 2022년 1월 8일자 보도, “ ‘도리도리 안 하나’ 묻자…AI윤석열 “아쉽지만 프로그램 한계””

2019년 10월, 미국 캘리포니아주는 포르노 제작이나 선거 후보의 홍보 활동을 목적으로 하는 딥페이크의 사용을 금지하는 법을 제정했다. 유명인들의 얼굴을 무단으로 도용한 딥페이크 포르노가 많은 피해를 초래했고, 정치인들이 하지 않은 말을 꾸며낸 딥페이크 영상들이 그렇지 않아도 심각한 정치 분열을 가속했기 때문이다.

전 세계에서 영향력이 가장 큰 정책 싱크탱크인 브루킹스 연구소Brookings Institute는 이미 2018년에 AI를 활용한 딥페이크 영상이 재래식 화력이 부족한 국가들이 활용할 수 있는 비대칭 전력의 핵심이 되고 있다는 보고서를 발행한 바 있다. 같은 해 4월, 코미디언이자 배우, 영화 감독이기도 한 조던 필Jordan Peele이 딥페이크 기술을 활용해 오바마 전 대통령의 얼굴을 하고 나타나 경고의 메시지를 던졌다. 오바마 전 대통령(의 모습을 한 조던 필)은 백악관 집무실인 것처럼 보이는 공간을 배경으로 이렇게 말했다.

“이제 우리의 적들이 누구든, 언제든, 무엇이든, 실제로 말하는 것처럼 보이게 만들 수 있는 시대에 접어들었습니다. 그런 말을 실제로 하지 않더라 해도 말입니다. 예를 들어서 이렇게… 우리의 적들은 제가 이런 말을 하는 것처럼 보이게도 할 수 있습니다. “트럼프 대통령은 완전 가망 없는 꼴통이에요.” 물론 공적인 자리에서 제가 이런 말은 절대 하지 않겠지만요.”

BuzzFeed가 유튜브에 올린 영상, “You Won’t Believe What Obama Says In This Video!”

약 1년 뒤인 2019년 6월엔 모든 사람의 개인 정보를 수집해서 미래를 통제할 거라는 마크 주커버그의 인터뷰 영상이 SNS 피드에 등장했다. 이 영상에서 주커버그는 확신에 찬 목소리로 이렇게 말했다.

“오직 한 사람이 수십억 명에게서 훔친 데이터와 그들의 모든 비밀, 사생활, 게다가 미래까지 완전히 통제하고 있다고 상상해 보세요. (…) 그게 누구든 데이터를 통제하는 사람이 곧 미래를 통제할 겁니다.”

report-jaeyongpark-deepfake

‹Big Dada/Public Faces›(2019) © Bill Posters & Daniel Howe

영상의 정체는 빌 포스터스Bill Posters라는 가명으로 활동하는 아티스트 바나비 프랜시스Banarby Francis가 다니엘 하우Daniel Howe와 함께 만든 작업 ‹거대한 다다/공공의 얼굴들Big Dada/Public Faces›(2019)이었다. 두 아티스트는 현실과 가짜의 경계가 흐려지고 있는 상황에 대해 발언하고자 마르셀 뒤샹, 마리나 아브라모비치, 마크 주커버그, 킴 카다시안, 모건 프리먼, 도널드 트럼프의 외모와 목소리를 학습한 AI 알고리즘으로 여섯 개의 딥페이크 내러티브를 만들어 ‹스펙터Spectre›라는 제목의 설치 작업을 제작했다. 이 ‘현대미술 작업’은 뉴스에서 화제가 되었고, 유럽 연합 의회에서는 ‘얼굴 인식 기술 금지 법안’ 발의에 참고 자료로 쓰기도 했다.

report-jaeyongpark-deepfake

도널드 트럼프와 김정은의 페이스 스왑

그런데 꽤나 무시무시하게 들리는 딥페이크는 이미 우리 곁에서 머지 않은 곳에 자리하고 있다. 다들 한 번쯤은 실행해보았을 ‘페이스 스왑’ 앱이 바로 딥페이크 기술을 활용한 실용적(?) 사례다. 아이폰 12부터 도입된 라이다LiDAR 덕분에 더 자연스러운 합성이 가능해졌는데, 사실 애플은 이미 2015년에 모션 캡처 기술 스타트업인 페이스시프트Faceshift를 인수해 다가올 미래를 차근차근 준비하고 있었다. 유니콘 모양을 한 애니모지가 내 얼굴 표정을 따라하는 것과 러시아 정보기관이 우크라이나의 내부 분열을 조장하기 위해 만드는 딥페이크 영상은 기본적으로 같은 기술을 공유한다. (참고로 딥페이크라는 용어는 2017년 말에 웹사이트 레딧reddit에서 처음 등장했다. “deepfakes”라는 닉네임으로 여성 연예인들의 얼굴을 포르노 영상에 합성한 내용을 공유하던 사용자에서 이름을 따왔다.)

미국 플로리다주에 있는 달리미술관 관람객들에게 자신이 촬영한 셀피를 보여주는 디지털 살바도르 달리의 모습. 유튜브 영상 “Behind the Scenes: Dalí Lives“에서 갈무리.

한편 플로리다주에 있는 달리미술관 로비에 놓인 대형 화면에는 마치 살아 있는 인물을 촬영한 것처럼 보이는 디지털 살바도르 달리가 관객을 기다린다. 관객이 화면 가까이에 다가오면 이렇게 말한다. “다시 살아 돌아오니 정말 좋네요. 저는 제가 죽었다고 믿지 않습니다. 여러분은 제가 죽었다고 생각하나요?”

디지털 달리는 125개의 인터랙티브 영상 클립을 조합해 19만 512개의 내러티브를 만들어낼 수 있다. 1989년에 이미 세상을 떠난 달리를 디지털로 되살려낸 홍보대행사 GS&P의 담당자는 화면 속 살바도르 달리에 대해 “이건 달리를 흉내 내는 사람이 아니라 진짜 달리”이며, “달리를 달리답게 만드는 것”을 충실히 재현했다고 자신 있게 말한다. 게다가 화면 속 달리는 관객들과 간단한 대화를 마친 뒤 품 속에서 휴대전화를 꺼내 셀피 촬영까지 제안한다. 미술관에서 제공하는 전용 번호로 인증 문자를 보내면 환생한 디지털 달리와 함께 찍은 셀피를 받을 수 있다.

report-jaeyongpark-deepfake

2016년부터 인스타그램에서 활동 중인 가상 인간 릴 미켈라의 인스타그램 포스트. 릴 미켈라의 팔로워 수는 2022년 2월 16일을 기준으로 300만 명에 이른다.

오즈의 마법사와 딥페이크를 통해 만들어진 가짜 주커버그. 오바마의 얼굴을 하고 나타난 조던 필과 AI라는 이름을 붙인 가상인간 버전의 윤석열 후보. 226대의 유세 트럭에 실려 전국 방방곡곡에서 실제 후보를 대신해 유세를 펼칠 거라는 이재명 후보의 디지털 더블. 여러 기업에서 앞다투어 도입하고 있는 가상인간 모델들. 이들 모두를 가로지르는 공통점은 ‘진짜’가 아니라는 점이다. 조금 바꿔 말하면, 이들이 보여주는 진짜의 모습은 오직 겉모습뿐이다. 지극히 통제 가능한, 누군가가 뒤에서 설정 값을 바꾸며 조종한다는 의미에서의 진짜 모습.

딥페이크 영상 제작을 위해 누군가의 가짜 외양을 데이터셋으로 만들고 나면, 거기에는 어떤 목소리나 행동까지 마음대로 덧씌울 수 있다. 가상인간 또한 마찬가지다. 온라인 세계에서는 윤석열 후보의 모습을 한 가상인간이 이재명 후보의 공약을 주장할 수도 있고, 그 반대도 가능하다. 각 후보 캠프에서 데이터를 입력하는 사람들이 마음만 먹는다면 말이다. 국민의힘 대선캠프 행사장에 등장한 가상인간에게 대체 왜 도리도리를 하지 않느냐는 질문이 던져진 건 우연이 아니다. 이 질문을 던진 사람은 아마 윤석열 후보가 해야 할 말을 하는 대신 도리도리 고개를 흔드는 묘한 모습이야말로 ‘윤석열을 윤석열답게 만드는 것’이라고 생각했는지도 모른다.

딥페이크와 가상인간 같은 기술이 과연 우리와 같은 시간대를 살아가는 아티스트들이 만드는 미술에서 유용한 도구로 활용될 수 있을까? 이 질문을 곱씹으며 가장 손쉽게 떠올릴 수 있는 우리 주변의 아티스트는 아마 김희천이 아닐까 한다. 그가 만든 ‹썰매›(2016)를 본 사람이라면 광화문 앞을 지나는 모든 행인의 얼굴에 아티스트 자신의 얼굴을 뒤집어 씌운 장면을 잊을 수 없을 것이다.

report-jaeyongpark-deepfake

© 김희천, ‹썰매›, 2016, 단채널 영상, 컬러, 사운드, 17분 27초.

나는 이 장면을 페이스 스왑을 활용해 만들어진 이미지 가운데 가장 ‘이상한 기분’을 안겨준 것으로 기억하고 있다. 봐서는 안 될 장면을 본 것 같은 생경한 기분. 마치 가상인간 윤석열이나 디지털 이재명, 실체 없는 릴 미켈라나 다른 가상 인플루언서를 만들어 합성, 조작 중인 누군가가 피로에 찌든 얼굴로 컴퓨터 화면의 각종 수치를 조정하고 콘텐츠를 입력 중인 모습을 뜻하지 않게 마주한 기분을 느끼게 해준 덕분이다.

물론 딥페이크나 가상인간을 활용하지 않더라도 껍데기뿐인 진짜를 바라보며 느끼는 이상한 기분을 자아낼 수 있다. 영국 미술가 질리언 웨어링은 개념적 사진과 영상 작업을 펼쳐왔고, 최근에는 딥페이크를 활용해 자신이 아닌 여러 배우들에게 자신의 외모를 덧씌운 영상 작업을 선보이기도 했다. 하지만 그의 작업 중 이런 ‘이상한 기분’을 더 강렬하게 자아내게 하는 것은 1997년작 ‹2 Into 1›이다.

© 질리언 웨어링Gillian Wearing. ‹ 2 Into 1›, 1997, 단채널 영상, 컬러, 사운드, 4분 30초.

쌍둥이 형제와 그들의 어머니가 서로에 대해서 이야기하는 이 영상은 일견 특별할 게 없어 보인다. 하지만 화면에 등장하는 인물들의 목소리를 듣다 보면, 어딘지 모르게 이상하다. 아들들에 대해 말하는 엄마의 목소리는 어린이의 목소리로, 엄마에 대한 아이들의 목소리는 성인 여성의 목소리를 통해 들려오기 때문이다. 이야기의 내용 또한 뒤집혀 있어, 엄마에 대해 말하는 아이들의 이야기가 엄마의 입을 통해 발화된다. 완벽한 립싱크를 통해서.

나는 고개를 도리도리 흔들지 않는 가상인간 버전의 윤석열 후보나 두 손을 공손히 모으고 최대한 어색한 미소만 지으며 말하는 이재명 후보의 디지털 대역을 볼 때마다 이상한 기분에 휩싸이곤 한다. 이 기분은 딥페이크 기술로 유명인들을 모사해 진짜와 가짜가 뒤섞인 오늘날에 엄중한 경고의 메시지를 던지려는 저널리즘 영상이나 미술 ‘작업’보다는 김희천이나 질리언 웨어링이 만든 영상을 볼 때 드는 이상한 기분에 가깝다. 휴식도 필요 없고 코로나19 감염 우려도 없으며 학교폭력과 같은 개인사로 인해 논란에 휩싸일 염려도 없는 가상인간 모델들을 볼 때 느끼는 이상한 감정 또한 마찬가지다. 또한 사용자들이 입력한 수많은 대화에서 혐오의 패턴을 학습해 폐쇄되고 만 챗봇들을 생각할 때에도 그렇다.

영화 ‹오즈의 마법사›의 마지막에 이르러, ‘커튼 뒤의 사람’ 마블 교수는 자신의 정체가 발각되기 직전까지도 허공에 떠 있는 거대한 가면을 가리키며 ‘저것이 진짜 오즈의 마법사’라고 외친다. 잔뜩 화난 얼굴을 한 도로시와 일행들에게, 그는 비록 모두를 속였지만 자신에게 나쁜 의도는 없었다고 항변한다. 사실 자신은 좋은 사람이며, 그저 기술이 부족한 마법사일 뿐이라고 말한다. 진짜 같아 보이거나 진짜보다 더 진짜같은 가짜들이 피드와 타임라인을 점령하고 대통령 후보들이 적극적으로 나서 진짜 같아 보이는 자신의 가짜 대역을 만드는 지금, 이 모든 가짜 뒤에 숨어 있는 ‘커튼 뒤의 사람’들을 생각해본다.

report-jaeyongpark-deepfake

기계장치 뒤에 숨어 있다 정체가 드러난 오즈의 마법사. © Warner Bros. Entertainment

Writer

박재용(@publicly.jaeyong)은 현대미술서가 ‘서울리딩룸(@seoulreadingroom)’을 운영하며, 공간 ‘영콤마영(@0_comma_0)’에서 문제해결가solutions architect를 맡고 있다. 전시기획자로 일하기도 하며, 다양한 글과 말을 번역, 통역한다.

Thank You for Subscription!

뉴스레터를 구독해주셔서 감사합니다.

«비애티튜드»는 매주 금요일 아침 10시 1분, 창작자의 반짝이는 감각과 안목을 담은 소식을 메일함에 넣어드립니다.