최근 드디어 우려했던 일이 발생했다. 홍콩에서 다국적 기업에 나니는 직원 한명이 회사의 재무 책임자인 척 하는 사기꾼과 화상전화를 한 후 2,500만 달러를 지불하기로 한 사건이다. 역시 화상전화는 딥페이크 기술을 활용한 속임수 였다.
처음에는 메일을 받은 후, 그 메일이 피싱 이메일로 의심했지만 화상 통화를 한 후 의심을 접었다고 한다. 다행스럽게도 홍콩 경찰은 6명을 체포하고 마무리 되었다.
https://edition.cnn.com/2024/02/04/asia/deepfake-cfo-scam-hong-kong-intl-hnk/index.html
여기서 생성형 AI 감지기술 과 딥페이크 대책에 대해 알아보자.
생성형 AI 감지 기술
Issue: 생성형 AI 감지 기술(Generative AI detection technology)이란 무엇인가요?
Clue: 생성형 AI 감지 기술은 인공지능이 만들어낸 콘텐츠, 예를 들어 텍스트, 이미지, 오디오, 비디오 등을 감지하고 구분하는 기술을 말해요. 이 기술은 AI가 생성한 콘텐츠가 실제 인간이 만든 콘텐츠와 구별되도록 돕죠. 간단히 말해서, AI가 만든 것과 사람이 만든 것을 구분해내는 데에 쓰이는 도구랍니다.
Issue: 이 기술의 역사에 대해 설명해줄 수 있나요?
Clue: 이 기술은 인공지능 기술이 발전하면서 자연스럽게 등장했어요. AI가 텍스트, 이미지, 음악 등을 인간과 구별하기 어려울 정도로 잘 생성하기 시작하면서, 이를 감지하고 구분하는 기술의 필요성이 커졌죠. 초기에는 주로 텍스트 기반의 감지 기술이 개발되었는데, 이후 이미지, 오디오, 비디오를 포함하는 다양한 형태의 콘텐츠를 감지하는 기술로 확장되었어요.
Issue: 처음 이 기술이 개발된 목적은 무엇이었나요?
Clue: 이 기술이 처음 개발된 주된 목적은 가짜 뉴스, 딥페이크 비디오와 같은 AI 생성 콘텐츠의 부정적인 영향을 줄이기 위해서였어요. AI가 만들어낸 정보가 진짜처럼 보일 수 있기 때문에, 이를 정확히 식별하고 구분하는 것이 중요해졌죠. 사실과 허구를 구분하여 사람들이 잘못된 정보에 속지 않도록 보호하는 데에 기여하고자 했어요.
Issue: 어떤 기술이 이용되어 이 감지를 수행하나요?
Clue: 이 기술에는 머신러닝과 딥러닝 같은 인공지능 기술이 주로 사용돼요. 이 기술들은 대량의 데이터를 학습하여 AI가 생성한 콘텐츠의 특징을 파악하고, 그것을 기반으로 실제 인간이 만든 콘텐츠와 AI가 생성한 콘텐츠를 구별하죠. 예를 들어, 텍스트의 경우 언어 패턴이나 구조를 분석하고, 이미지의 경우 생성 과정에서 생기는 미묘한 패턴이나 이상을 찾아내요.
Issue: 이 기술이 처음 성공적으로 사용된 사례가 있나요?
Clue: 네, 가짜 뉴스와 딥페이크 비디오를 감지하는 데 성공적으로 사용된 몇가지 사례들이 있어요. 특히 딥페이크 비디오 감지에서 이 기술은 중요한 역할을 했죠. 딥페이크 비디오는 매우 현실적으로 보이기 때문에, 일반 사람들이 구별하기 어렵습니다. 하지만 AI 감지 기술을 사용하면, 비디오가 AI에 의해 조작되었는지를 어느정도는 식별할 수 있게 되었어요. 이런 기술의 도움으로 많은 가짜 콘텐츠를 식별하고, 그로 인한 피해를 줄일 수 있게 되었죠.
Issue: 현재 이 기술의 발전 상태는 어떠한가요?
Clue: 현재 생성형 AI 감지 기술은 계속해서 발전하고 있어요. 인공지능 기술이 더욱 진보함에 따라, 이 감지 기술도 더 정교하고 다양한 형태의 AI 생성 콘텐츠를 식별하는것을 목표로 하고 있어요. 예를 들어, 최신 기술은 단순히 텍스트나 이미지뿐만 아니라, 복잡한 비디오나 오디오에서도 AI의 작업을 감지할 수 있어요. 또한, 더 빠르고 효율적으로 감지할 수 있는 방법들이 개발되고 있으며, 소셜 미디어 플랫폼이나 뉴스 사이트에서도 이 기술을 사용하여 가짜 콘텐츠를 필터링하는 데 도움을 주고 있어요.
Issue: 현재 사용되는 감지 기술의 한계는 무엇인가요?
Clue: 현재의 감지 기술도 완벽하지는 않아요. 첫째, AI 기술 자체가 발전함에 따라, AI가 생성하는 콘텐츠가 점점 더 정교해지고 있어서 이를 감지하기가 더 어려워지고 있어요. 둘째, 감지 기술은 대량의 데이터를 학습해야 효과적이기 때문에, 새로운 형태의 생성 콘텐츠나 미세한 변화를 감지하는 데에는 한계가 있죠. 셋째, 때때로 정확한 감지를 위해 고도의 전문 지식이 필요한 경우도 있어서, 이 기술을 일반적으로 적용하는 데에는 어려움이 있어요.
Issue: 이 기술을 사용하여 사회에 미치는 긍정적인 영향은 무엇인가요?
Clue: 이 기술이 사회에 미치는 긍정적인 영향은 크게 두 가지가 있어요. 첫째, 가짜 뉴스나 딥페이크와 같은 잘못된 정보의 확산을 줄일 수 있어요. 이를 통해 사람들이 더 정확하고 신뢰할 수 있는 정보에 접근할 수 있게 되죠. 둘째, 저작권 보호에도 도움을 줘요. AI가 생성한 콘텐츠와 인간이 만든 원본 콘텐츠를 구별함으로써, 창작자의 권리를 보호하고 콘텐츠의 오용을 방지할 수 있어요.
Issue: 미래에 이 기술을 어떻게 더 발전시킬 수 있을까요?
Clue: 미래에는 몇 가지 방법으로 이 기술을 더 발전시킬 수 있어요. 첫 번째로, 인공지능의 학습 알고리즘을 더 발전시켜서, AI가 생성한 콘텐츠의 더 미묘한 특징까지 감지할 수 있게 만들 수 있어요. 두 번째로, 다양한 종류의 콘텐츠에 대한 감지 능력을 확장할 수 있어요. 예를 들어, 현재는 주로 텍스트나 이미지, 비디오를 대상으로 하지만, 미래에는 음악이나 3D 모델과 같은 새로운 형태의 콘텐츠도 감지할 수 있게 될 거예요. 세 번째로, 감지 기술을 더 빠르고 정확하게 만들어서 실시간으로 AI 생성 콘텐츠를 필터링할 수 있게 하는 것이 중요해요. 이를 통해 가짜 정보의 확산을 즉시 차단하고, 디지털 환경을 더 안전하게 만들 수 있을 거예요.
Issue: 이 기술의 발전이 가져올 사회적 도전은 무엇일까요?
Clue: 이 기술의 발전은 여러 사회적 도전을 가져올 수 있어요. 첫째, 프라이버시와 보안 문제가 커질 수 있어요. 감지 기술이 사람들의 콘텐츠를 분석하고 평가해야 하기 때문에, 개인 정보 보호와 데이터 보안에 대한 우려가 생길 수 있죠. 둘째, 이 기술의 오용 가능성도 있어요. 예를 들어, 정치적 목적이나 개인적 이득을 위해 감지 기술을 사용하여 특정 콘텐츠를 차단하거나 검열할 수 있어요. 이러한 도전을 극복하기 위해서는 기술의 윤리적 사용에 대한 지속적인 논의와 규제가 필요할 거예요.
Issue: 이 기술의 미래 발전을 위해 고려해야 할 윤리적 문제는 무엇인가요?
Clue: 윤리적 문제는 미래 발전에 있어 매우 중요해요. 첫 번째로, 프라이버시 보호 문제가 있어요. 감지 기술이 사람들의 콘텐츠를 분석할 때, 개인의 프라이버시를 존중하고 보호하는 것이 필수적이죠. 두 번째로, 표현의 자유와 감시 사이의 균형을 맞추는 것도 중요해요. 즉, 가짜 정보를 감지하고 차단하는 것과 사람들이 자유롭게 의견을 표현할 수 있는 권리 사이의 균형을 찾아야 해요. 마지막으로, 기술의 공정한 사용에 대한 문제도 있어요. 감지 기술이 특정 그룹이나 의견에 편향되지 않도록 하고, 모든 사람에게 공정하게 적용되어야 해요.
Issue: 이 기술이 미래의 교육 분야에 어떤 영향을 미칠 수 있나요?
Clue: 교육 분야에서는 이 기술이 긍정적인 영향을 미칠 수 있어요. 예를 들어, 교육용 콘텐츠를 생성하는 AI 기술을 감지하여, 학생들이 접하는 정보의 질을 보장할 수 있어요. 또한, 학생들이 제출하는 과제가 직접 작성한 것인지 아니면 AI에 의해 생성된 것인지를 감지함으로써, 학습의 정직성을 유지할 수 있죠. 이를 통해 교육 과정에서 AI의 올바른 사용을 가르치고, 학생들이 창의력과 비판적 사고 능력을 개발할 수 있도록 도울 수 있어요.
Issue: 이 기술이 미래의 콘텐츠 창작 분야에 미칠 영향은 어떨까요?
Clue: 콘텐츠 창작 분야에서는 이 기술이 창작자들이 자신의 작품이 원본임을 증명하는 데 도움을 줄 수 있어요. 예를 들어, AI가 생성한 콘텐츠와 인간이 창작한 콘텐츠를 구별함으로써, 창작자의 저작권을 보호하고 창작물의 독창성을 인증할 수 있죠. 또한, AI 생성 콘텐츠의 활용이 증가함에 따라, 창작자들이 AI를 도구로 사용하여 새로운 형태의 콘텐츠를 창출하는 방법도 모색할 수 있어요. 이를 통해 콘텐츠 창작의 경계를 넓히고, 다양한 창작 활동을 장려할 수 있을 거예요.
딥페이크 대책
Issue: 딥페이크 대책(Deepfake countermeasures) 이란 무엇인가요?
Clue: 딥페이크 대책이란 딥페이크 기술을 통해 생성된 가짜 영상이나 오디오 등을 식별하고, 그 영향을 최소화하기 위한 다양한 방법과 기술을 말해요. 딥페이크는 인공지능을 사용해서 실제로 존재하는 사람의 얼굴이나 목소리를 다른 사람의 것처럼 보이게 하거나, 존재하지 않는 사람을 만들어내는 기술이에요. 이런 기술이 잘못 사용되어 가짜 뉴스를 만들거나 사람들을 속이는 데 사용될 수 있기 때문에, 이를 방지하고자 하는 대책이에요.
Issue: 이 대책들은 어떻게 개발되기 시작했나요?
Clue: 딥페이크 기술이 처음 등장하고 사회적으로 큰 문제가 되기 시작하면서, 연구자들과 기술 회사들은 이 문제를 해결하기 위한 방법을 모색하기 시작했어요. 가짜 콘텐츠로 인한 피해가 커지면서, 사람들이 진짜와 가짜를 구별할 수 있도록 돕는 기술의 필요성이 점점 더 부각되었죠. 이에 따라, 딥페이크를 감지할 수 있는 알고리즘과 소프트웨어 개발에 대한 연구가 활발히 이루어지기 시작했어요.
Issue: 처음에 어떤 종류의 대책들이 사용되었나요?
Clue: 처음에는 주로 딥페이크 영상이나 오디오에서 발견될 수 있는 특정 패턴이나 이상을 찾아내는 방식이 사용되었어요. 예를 들어, 영상에서 눈 깜빡임이 자연스럽지 않거나, 피부의 질감이 일관되지 않는 등의 특징을 분석해서 가짜 콘텐츠를 식별했죠. 또한, 오디오에서는 목소리의 미묘한 진동이나 패턴을 분석하여 실제 사람의 목소리와 AI가 생성한 목소리를 구별하는 기법들이 개발되었어요.
Issue: 이 대책들이 어떻게 발전해왔나요?
Clue: 시간이 지나면서, 딥페이크 대책 기술은 더욱 정교해지고 다양해졌어요. 딥러닝과 같은 고급 인공지능 기술을 이용하여, 더 복잡하고 정교한 딥페이크 콘텐츠도 감지할 수 있게 되었죠. 예를 들어, 영상이나 오디오의 데이터를 깊게 분석하여, 사람의 눈으로는 구별하기 어려운 미세한 차이까지도 감지할 수 있는 알고리즘이 개발되었어요. 또한, 블록체인 기술을 이용하여 콘텐츠의 출처를 추적하고 인증하는 방법도 등장했어요.
Issue: 현재 가장 효과적인 딥페이크 대책은 무엇인가요?
Clue: 현재 가장 효과적인 딥페이크 대책 중 하나는 인공지능을 이용한 감지 기술이에요. 이 기술은 딥페이크 콘텐츠의 생성 방식을 깊이 이해하고, 그 과정에서 발생할 수 있는 고유한 특성이나 오류를 찾아내요. 또 다른 효과적인 방법은 미디어 파일에 디지털 워터마크를 삽입하는 것이에요. 이 워터마크는 콘텐츠가 수정되거나 조작될 경우 변화하므로, 콘텐츠의 진위를 검증하는 데 사용될 수 있어요. 이외에도, 교육과 인식 제고를 통해 사람들이 딥페이크 콘텐츠를 스스로 인식할 수 있도록 돕는 것도 중요해요.
딥페이크 탐지기의 작동 방식
작동 방식 중 하나는 얼굴 특징과 표정을 분석하여 딥페이크의 존재를 나타낼 수 있는 불규칙성이나 불일치를 찾아내는 것이다.
일부 딥페이크 탐지기는 동영상에서 색상이 어떻게 변하는지를 살펴본 다음, 이러한 색상 변화를 지도로 변환하고 딥러닝을 사용하여 동영상이 진짜인지 가짜인지 구분한다.
또한 딥페이크 탐지기는 오디오의 음성 패턴을 듣고 AI에 의해 조작된 징후를 찾아낼 수도 있다.
일부 딥페이크 검출기 솔루션은 부자연스러운 조명, 그림자, 원근감 등의 상황 정보를 분석하여 동영상이나 이미지 콘텐츠에 묘사된 장면의 진위 여부를 판별하는 데 중점을 둔다.
최고의 딥페이크 탐지 기술 7선
7. 위베리파이(WeVerify)
위베리파이는 업계 최고의 소셜 미디어 및 웹 콘텐츠 딥페이크 검출기 중 하나이다.
위베리파이 프로젝트에서 개발되어 2019년 1월에 출시된 이 제품은 머신 러닝 및 AI 알고리즘, 안면 인식 소프트웨어(FRS), 블록체인 기반의 노출된 가짜 공개 데이터베이스를 사용하여 딥페이크를 탐지한다.
조작된 콘텐츠를 폭로하기 위한 이 도구의 주요 기능에는 교차 모드 검증, 소셜 네트워크 분석, 마이크로 타겟팅 폭로, 지능형 휴먼 인 더 루프 콘텐츠 검증 등이 있다.
무료 딥페이크 탐지 도구는 조직에서 사용할 수 있도록 사내 콘텐츠 관리 시스템과 쉽게 통합할 수 있으며 프리미엄 웹 서비스형 플랫폼을 제공한다.
6. 딥웨어 스캐너(Deepware Scanner)
Zemana가 2018년에 Deepware AI 프로젝트에 따라 개발한 Deepware 스캐너는 컨볼루션 신경망 아키텍처의 EfficientNet-B7 모델에서 실행된다.
딥웨어는 여러 오픈 소스에서 10만 개 이상의 동영상을 실행하는 AI 스캐너를 사용하여 사용자에게 실시간 진위 확인 기능을 제공한다.
이 스캐너는 조작된 얼굴을 찾아낼 수 있지만, 이를 위해서는 콘텐츠에 실제 얼굴이 하나 이상 있어야 한다. 또한 최대 10분 길이의 딥페이크 동영상을 찾아내고 이에 대한 자세한 보고서를 제공할 수 있다.
딥웨어는 최고 수준의 탐지 챌린지 데이터 세트인 CFDF 데이터 세트를 사용하며, 여기에는 Celeb-DF YouTube, 미스터딥페이크, 4찬 리얼 등을 포함한 12만 개 이상의 동의된 테스트 동영상이 포함되어 있다. 이 도구는 모바일 애플리케이션으로도 사용할 수 있다.
5. 마이크로소프트 : Microsoft Video AI Authenticator
이 딥페이크 탐지 도구는 Microsoft 연구 및 책임 AI 팀에서 개발했다.
2020년 미국 대선 기간 동안 뉴스에서 가짜 및 조작된 미디어가 널리 퍼진 것에 대응하기 위해 Microsoft는 정확한 조작 점수를 생성하기 위해 비디오와 정지 사진을 분석하기 위한 이 도구를 만들었다.
이 도구는 보통 사람의 눈으로는 놓칠 수 있는 미묘한 그레이스케일 변화를 감지하고 딥페이크의 빠른 탐지를 위해 실시간 신뢰도 점수를 제공한다.
소프트웨어를 인간화하기 위해 Face Forensic++ 공개 데이터 세트의 데이터를 사용했으며, 딥페이크 탐지 챌린지 데이터 세트에서 테스트를 거쳤다.
더 폭넓은 채택과 사용을 위해 Microsoft는 샌프란시스코에 본사를 둔 AI 재단과 협력하여 정치 캠페인 및 미디어 하우스와 같은 선거 과정에 있는 조직에 이 도구를 제공했다.
4. 센시티(Sensity)
센시티는 세계 최고의 딥페이크 검출기 솔루션 제공업체 중 하나로, Dall-E, Stable Diffusion, FaceSwap, Midjourney와 같은 고급 AI가 사용하는 유포 기술을 탐지할 수 있는 최첨단 기술을 보유하고 있다.
탐지 API를 통해 생성적 적대적 네트워크(GAN) 프레임워크를 탐지한다. 센시티는 딥페이크의 위험으로부터 디지털 미디어를 보호하고자 하는 기업과 개인 모두에게 신뢰할 수 있는 옵션으로 주목받고 있다.
Sensity AI는 95% 이상의 정확도를 자랑하며, 가장 신뢰할 수 있는 딥페이크 검출기 중 하나이다. 또한 ChatGPT와 같은 대규모 언어 모델(LLM)로 생성된 텍스트를 식별할 수 있으며, 사람이 AI로 생성된 콘텐츠를 편집한 경우에도 식별할 수 있다.
3. 포네메-비세메 미스매치 탐지기(Phoneme-Viseme Mismatch Detector)
스탠퍼드 대학교와 캘리포니아 대학교에서 개발한 이 획기적인 과학 기술은 딥페이크의 도전과 증가하는 위협에 대응할 수 있는 강력한 솔루션을 제공한다.
이 기술은 딥페이크가 입 모양(비젬)과 음성 음소 간의 역학 관계에 불일치를 보이는 경우가 많다는 사실을 활용한다. 이 외에도 인위적인 얼굴 특징을 식별하고 딥페이크 콘텐츠의 미묘한 조작까지 찾아낼 수 있다.
불일치 또는 불일치가 발견되면 감지기는 동영상을 분석한 후 딥페이크가 있음을 표시합니다.
수동 및 자동 동영상 인증에서 높은 정확도를 자랑하는 이 기술은 현재 진행 중인 딥페이크 조작과의 전쟁에서 신뢰할 수 있는 지원군입니다. 이 기술은 언어 분석 및 연구 환경을 위한 학술적 환경에서 가장 적합합니다.
2. 센티널 AI(Sentinel AI)
Sentinel AI는 2019년에 설립된 에스토니아의 사이버 보안 회사이다. 이 회사는 정부, 언론사, 국방 기관과 협력하여 허위 정보 캠페인, 합성 미디어, 잘못된 정보로부터 민주주의를 보호하는 것을 사명으로 삼고 있다.
이 플랫폼은 고급 신경망을 활용하여 얼굴 표정, 눈 깜빡임 패턴, 오디오 조작을 조사한다. 또한 자연어 처리를 사용하여 음성 패턴의 불규칙성을 식별한다.
사용자는 Sentinel AI 웹 사이트에서 직접 또는 API를 통해 딥페이크 탐지를 위한 디지털 미디어를 업로드할 수 있다.
Sentinel 딥페이크 탐지 도구는 매우 정확한 탐지를 위한 다계층 방어 접근 방식인 사이버 보안의 심층 방어(DiD) 표준을 따른다.
1. 인텔의 페이크캐쳐(Intel’s FakeCatcher)
2022년에 출시된 Intel의 실시간 딥페이크 탐지기인 FakeCatcher는 딥페이크의 확산을 막기 위해 고안된 선구적인 도구이다.
Intel에 따르면 이 시스템의 핵심은 혈류와 안구 움직임의 변화를 감지하는 데 초점을 맞춘 광혈류측정법(PPG)이라고 알려진 방법이다.
이러한 생리적 신호는 얼굴의 32개 영역에서 포착된 후 시공간 지도로 변환된다.
대부분의 딥러닝 기반 딥페이크 탐지기와 달리 FakeCatcher는 시스템에 입력된 원시 데이터보다 실제 비디오의 확실한 단서에 더 의존하여 판단을 내린다.
FakeCatcher는 대량의 동영상 콘텐츠를 다루는 다양한 기관에 적합하다. 여기에는 소셜 미디어 플랫폼, 뉴스 대행사, 비영리 단체 등이 포함되며, 이들 모두 유해한 딥페이크의 업로드 및 유포를 방지할 수 있는 기능을 통해 큰 이점을 얻을 수 있다.
Intel은 FakeCatcher가 96%라는 놀라운 정확도를 자랑하며 실시간 딥페이크 탐지를 위한 신뢰할 수 있는 도구라고 주장한다.
https://www.techopedia.com/ 참고
Issue: 미래에는 어떤 새로운 대책이 개발될 수 있을까요?
Clue: 미래에는 더욱 첨단 기술이 딥페이크 대책에 적용될 수 있어요. 예를 들어, 인공지능이 스스로 학습하고 적응하여, 계속해서 발전하는 딥페이크 기술에 효과적으로 대응할 수 있는 알고리즘이 개발될 수 있어요. 또한, 사람과 기계가 협력하는 하이브리드 접근 방식이 등장할 수 있어요. 이는 기계가 감지하기 어려운 미묘한 차이를 사람이 판단하고, 사람이 놓칠 수 있는 부분을 기계가 보완하는 방식이죠. 더불어, 가상현실(VR)이나 증강현실(AR) 기술을 이용하여 딥페이크 콘텐츠를 시각화하고 분석하는 새로운 방법도 개발될 수 있어요.