세계에서 가장 유명한 스타의 포르노, AI 생성 이미지가 이번 주 소셜 미디어에 퍼져 주류 인공 지능 기술이 제기하는 파괴적인 잠재력, 즉 설득력 있게 실제적이고 파괴적인 이미지를 생성하는 능력을 강조했습니다.
테일러 스위프트의 가짜 이미지는 이전에 트위터로 알려진 소셜 미디어 사이트 X에서 주로 유포되었습니다. 가수가 성적으로 암시적이고 노골적인 자세를 취하고 있는 사진은 소셜 플랫폼에서 삭제되기 전까지 수천만 번 조회되었습니다. 하지만 인터넷의 어떤 것도 영원히 사라지는 것은 아니며, 규제가 덜한 다른 채널을 통해 의심할 여지 없이 계속해서 공유될 것입니다.
Swift의 대변인은 논평 요청에 응답하지 않았습니다.
대부분의 주요 소셜 미디어 플랫폼과 마찬가지로 X의 정책은 “사람들을 속이거나 혼란스럽게 하고 해를 끼칠 수 있는 합성, 조작 또는 맥락을 벗어난 미디어”의 공유를 금지합니다 .
회사는 CNN의 논평 요청에 응답하지 않았습니다.
이 사건은 미국이 대통령 선거를 앞두고 있는 가운데 발생했으며, AI가 생성한 이미지와 비디오가 허위 정보 노력을 주도 하고 궁극적으로 투표를 방해하는 데 어떻게 사용될 수 있는지에 대한 우려가 커지고 있습니다.
디지털 조사 기관인 메메티카(Memetica)를 운영하는 벤 데커(Ben Decker)는 CNN과의 인터뷰에서 “이것은 공공 광장을 보호할 충분한 가드레일 없이 AI가 수많은 사악한 이유로 풀려나는 방식을 보여주는 대표적인 예”라고 말했다.
Decker는 모든 유형의 공인을 대상으로 잠재적으로 유해한 콘텐츠를 만들기 위해 생성적 AI 도구를 이용하는 것이 빠르게 증가하고 있으며 소셜 미디어 전반에 걸쳐 그 어느 때보다 빠르게 확산되고 있다고 말했습니다.
“소셜 미디어 회사들은 실제로 콘텐츠를 반드시 모니터링할 효과적인 계획을 갖고 있지 않습니다.”라고 그는 말했습니다.
예를 들어 X는 콘텐츠 조정 팀을 크게 파괴 하고 자동화된 시스템과 사용자 보고에 의존합니다. (EU에서는 현재 X가 콘텐츠 조정 관행에 대해 조사를 받고 있습니다.)
메타 역시 플랫폼에서 허위 정보를 처리하고 트롤 및 괴롭힘 캠페인을 조율하는 팀을 삭감했으며 상황을 직접 알고 있는 사람들은 CNN에 미국과 전 세계에서 중요한 2024년 선거를 앞두고 우려를 제기했다고 말했습니다.
Taylor Swift 관련 이미지가 어디서 유래되었는지는 확실하지 않습니다. Instagram 및 Reddit과 같은 사이트에서 일부 이미지가 발견되었지만 특히 X에서 널리 퍼진 문제였습니다.
이 사건은 또한 ChatGPT 및 Dall-E와 같은 AI 생성 도구의 등장과 동시에 발생합니다. 그러나 오픈 소스 플랫폼에는 조정되지 않고 업무에 안전하지 않은 AI 모델의 세계가 훨씬 더 광범위하다고 Decker는 말했습니다.
“이것은 AI 회사, 소셜 미디어 회사, 규제 기관 및 시민 사회 등 모든 이해 관계자가 동일한 문제에 대해 이야기하지 않고 문제 해결 방법에 대해 동일한 페이지에 있지 않기 때문에 더 큰 종류의 파괴적인 콘텐츠 조정 및 플랫폼 거버넌스를 나타냅니다. 이러한 문제로 인해 이러한 유형의 콘텐츠는 계속해서 확산될 것입니다.”라고 덧붙였습니다.
그러나 Decker는 Swift가 표적이 되면 AI 생성 이미지와 관련하여 점점 커지는 문제에 더 많은 관심을 불러일으킬 수 있다고 말했습니다. Swift의 충성스러운 “Swifties”로 구성된 대규모 부대는 이번 주 소셜 미디어에 분노를 표명하여 이 문제를 전면에 부각시켰습니다. 2022년에는 Eras Tour 콘서트를 앞두고 Ticketmaster의 붕괴가 온라인에서 분노를 불러일으켰고, 소비자에게 비우호적인 티켓팅 정책을 단속하려는 여러 입법 노력이 이루어졌습니다.
아마도 AI가 생성한 이미지를 손상시키는 경우에도 마찬가지일 것이라고 Decker는 제안했습니다.
“테일러 스위프트 같은 인물이 이렇게 큰 [표적]이 된다면 아마도 이것이 국회의원과 기술 기업의 행동을 촉발하는 이유일 것입니다. 그들은 미국의 연인이 그들에 대한 공개 캠페인을 벌이는 것을 감당할 수 없기 때문입니다.”라고 그는 말했습니다. “나는 그녀가 인터넷상의 거의 모든 사람보다 더 많은 영향력을 갖고 있기 때문에 그녀의 기분을 나아지게 해야 한다고 주장하고 싶습니다.”
이러한 유형의 기술 은 한동안 동의 없이 누군가의 노골적인 이미지를 온라인에 게시하는 ‘ 리벤지 포르노 ‘ 를 만드는 데 사용되었지만 지금은 Swift의 불쾌한 사진으로 인해 다시 주목을 받고 있습니다.
현재 미국의 9개 주에는 자신의 초상을 모방하기 위해 만들어진 합성 이미지인 합의되지 않은 딥페이크 사진의 생성 또는 공유를 금지하는 법률이 있습니다.특히 유명인의 가짜 AI 생성 이미지 문제를 해결하기 위해 여러 가지 기술 솔루션이 개발 및 활용되고 있습니다. 그러나 이 분야는 빠르게 발전하고 있으며 기술은 딥페이크를 만드는 새로운 방법을 지속적으로 따라잡는 상태에 있다는 점을 기억하는 것이 중요합니다.
탐지를 위한 딥러닝 모델: AI 생성 이미지를 실제 이미지와 구별하기 위해 고급 딥러닝 모델이 자주 사용됩니다. 이러한 모델은 두 가지 유형의 이미지가 모두 포함된 대규모 데이터 세트에서 훈련되어 인간의 눈에 눈에 띄지 않을 수 있는 미묘한 차이를 식별하는 방법을 학습합니다. 예를 들어, 연구자들은 이러한 목적을 위해 특별히 CNN(컨볼루션 신경망)을 개발했습니다. 이러한 모델은 질감, 색상 분포, 패턴 등 이미지의 다양한 측면을 분석하여 원본을 결정합니다.
디지털 워터마킹 기술: 일부 AI 이미지 생성 도구는 생성된 이미지에 눈에 보이지 않는 디지털 워터마크를 삽입합니다. 이러한 워터마크는 이를 인식하도록 설계된 특정 소프트웨어에 의해 감지될 수 있으며, 이를 통해 해당 이미지를 AI가 생성한 것으로 식별할 수 있습니다. 이 방법은 효과적이지만 이러한 워터마크를 삽입하여 협력하려면 생성 AI 도구가 필요합니다.
ELA(오류 수준 분석): 원래 사진 조작을 감지하는 데 사용되었지만 ELA는 때때로 AI 생성 이미지를 구별하는 데 효과적일 수 있습니다. 이미지 전체의 압축 수준을 분석하여 작동합니다. AI가 생성한 이미지와 사람이 촬영한 사진은 종종 압축 특성이 다르기 때문에 ELA는 이러한 불일치를 강조할 수 있습니다.
포렌식 방법: 일반적으로 디지털 미디어 분석에 사용되는 다양한 포렌식 기술을 적용하여 AI 생성 이미지를 식별할 수 있습니다. 이러한 방법에는 AI가 정확하게 복제할 수 없는 조명, 그림자 또는 기타 요소의 불일치를 검사하는 것이 포함될 수 있습니다.
역방향 이미지 검색 도구: 주로 이미지 소스를 찾는 데 사용되지만 역방향 이미지 검색 엔진은 때때로 AI 생성 이미지를 식별하는 데 도움이 될 수 있습니다. 검색 결과가 없거나 AI 아트 웹사이트에 대한 링크만 나오는 경우 이미지의 AI 출처를 나타낼 수 있습니다.
행동 분석: 일부 도구는 행동 분석을 사용하여 이미지 자체의 내용보다는 이미지가 생성된 방식을 검사합니다. 여기에는 특히 생성 프로세스가 기록되거나 기록되는 경우 AI와 인간 아티스트 간에 구별될 수 있는 그리기 프로세스를 분석하는 작업이 포함됩니다.
이러한 기술은 지속적으로 발전하고 있다는 점에 유의하는 것이 중요합니다. AI 이미지 생성이 더욱 정교해짐에 따라 탐지 방법도 발전해야 합니다. 또한 각 방법의 효과는 이미지의 특정 특성과 이미지 생성에 사용되는 AI의 기능에 따라 달라질 수 있습니다. 따라서 여러 방법을 조합하는 것이 이미지의 원본을 정확하게 식별하는 데 가장 효과적인 방법인 경우가 많습니다.
AI 감지 도구: GPTZero 및 Copyleaks AI Content Detector와 같은 도구는 AI 생성 텍스트를 식별하는 데 사용되고 있습니다. 예를 들어 GPTZero는 텍스트를 분석하고 표절을 검색하여 AI 생성 텍스트와 인간이 만든 텍스트를 구별하는 데 도움이 됩니다. Copyleaks AI Content Detector는 AI 생성 텍스트를 찾아내는 정확도가 99.1%라고 주장합니다.
SynthID: Google에서 개발한 SynthID는 사람의 눈에는 보이지 않지만 앱으로 식별할 수 있는 디지털 워터마크를 이미지나 예술 작품에 삽입하는 도구입니다. 이는 이미지가 AI로 생성되었는지 여부를 결정하는 데 도움이 됩니다. 하지만 이 도구는 현재 Google Cloud 고객에게만 제공됩니다.
Deepware Scanner 및 유사한 도구: 비디오 콘텐츠의 경우 Deepware Scanner와 같은 도구를 사용하여 딥 페이크를 탐지합니다. 이를 통해 사용자는 진위 여부 검사를 위해 의심스러운 비디오를 업로드할 수 있습니다. Sentinel, Reality Defender, WeVerify 및 Microsoft의 Video Authenticator Tool과 같이 유사한 기능을 가진 다른 도구가 있습니다.
콘텐츠 출처: 또 다른 접근 방식은 실제 미디어와 합성 디지털 미디어의 출처를 명확하게 만드는 것을 목표로 하는 콘텐츠 출처입니다. 여기에는 콘텐츠가 인간에 의해 생성되었는지 아니면 컴퓨터에 의해 생성되었는지에 대한 정보와 함께 생성된 시간 및 장소가 포함됩니다.
이러한 기술적 솔루션은 중요하지만 AI 생성 콘텐츠와 인간이 만든 콘텐츠를 구별할 수 있는 묘책은 없다는 것이 인정됩니다. AI가 발전함에 따라 이 기술은 지속적인 업데이트가 필요하며, 실제 콘텐츠와 가짜 콘텐츠를 식별하는 보편적인 표준은 아직 없습니다. 이는 기술 솔루션과 함께 법률, 규정, 미디어 활용 능력을 포함하는 결합된 접근 방식의 중요성을 강조합니다.
이러한 맥락에서 관련 기술의 발전은 지속적이고 역동적이며, 사실적인 이미지와 비디오를 생성하는 AI의 발전하는 기능을 따라잡기 위해 새로운 도구와 방법이 지속적으로 개발되고 있습니다.
GPTZero는 사람이 작성한 텍스트와 AI가 생성한 텍스트를 식별하도록 설계된 AI 감지 도구입니다. ChatGPT, GPT-4 및 Bard와 같은 대규모 언어 모델에서 생성된 콘텐츠를 식별하는 데 특히 효과적입니다. 이 도구는 전 세계적으로 활용되어 교육, 고용, 출판, 법률 등의 분야에서 다양한 사용자와 조직을 지원합니다. GPTZero에 대한 몇 가지 주요 세부정보는 다음과 같습니다.
기능: GPTZero는 문장, 단락 및 문서 수준에서 AI 생성 콘텐츠를 감지할 수 있습니다. 이 도구는 주로 영어 산문에 중점을 두고 사람이 작성한 텍스트와 AI가 생성한 텍스트로 구성된 방대하고 다양한 코퍼스에 대해 꼼꼼하게 훈련되었습니다..
사용법: GPTZero를 사용하는 것은 간단합니다. 사용자는 텍스트를 직접 붙여넣거나 분석을 위해 문서를 업로드할 수 있습니다. 이 도구는 AI가 생성한 부품을 강조 표시하고 단순한 숫자 점수가 아닌 결과에 대한 명확한 해석을 제공하는 상세한 탐지 보고서를 제공합니다.
계획 및 가격: GPTZero는 다양한 구독 계획을 제공합니다. ‘기본’ 계획은 무료이며 월 최대 10,000 단어를 스캔할 수 있는 반면, ‘필수’ 및 ‘프리미엄’ 계획은 증가된 단어 제한과 표절 스캔 및 자세한 작문 피드백과 같은 추가 기능을 제공합니다.
응용 프로그램: 이 도구는 학생 작업에서 AI 생성 콘텐츠를 감지하기 위한 학문적 환경에서 높은 평가를 받고 있습니다. AI 텍스트 감지를 시스템에 통합하려는 조직에도 유용합니다. 또한 GPTZero는 교육 목적으로 특별히 설계된 프리미엄 모델을 제공합니다.
교육 파트너십 및 API 액세스: GPTZero는 교육 기관과 협력하여 학술 환경에서 AI 탐지를 강화하고 조직에 API 액세스를 제공하여 손쉬운 시스템 통합을 가능하게 합니다.
정확성 및 한계: GPTZero는 정확성으로 유명하지만, 오류가 없는 AI 탐지 도구는 없다는 점을 인식하는 것이 중요합니다. AI가 생성한 텍스트가 사람이 작성한 텍스트로 잘못 분류되거나 그 반대의 경우가 있을 수 있습니다. 이 도구는 지속적으로 개선되고 있지만 교육자와 사용자는 글쓰기에서 AI 사용을 평가하기 위한 포괄적인 접근 방식의 일부로 이 도구를 사용하는 것이 좋습니다.
GPTZero는 AI 탐지 분야에서 상당한 발전을 이루었으며, AI 생성 콘텐츠와 인간 제작 콘텐츠를 구별하기 위한 안정적이고 사용자 친화적인 솔루션을 제공합니다. AI 기술의 개발과 지속적인 개선은 AI 기술의 진화하는 특성과 다양한 분야에서 AI의 영향을 관리하기 위한 효과적인 도구의 필요성을 강조합니다.