연구원이 안티를 구축하다

Sep 01, 2023

Will Knight, wired.com - 2023년 8월 30일 오후 1시 51분(UTC)

지난 5월 러시아 국영 언론인 스푸트니크 인터내셔널(Sputnik International)은 미국 외교 정책을 비난하고 바이든 행정부를 공격하는 일련의 트윗을 올렸다. 각각은 CounterCloud라는 계정에서 짤막하지만 잘 짜여진 반박을 촉발했으며 때로는 관련 뉴스나 의견 기사에 대한 링크도 포함했습니다. 이는 미국을 비판하는 러시아 대사관과 중국 언론 매체의 트윗에도 비슷한 반응을 불러일으켰습니다.

미국에 대한 러시아의 비판은 전혀 특이한 것이 아니지만 CounterCloud의 반발 자료는 다음과 같습니다. 프로젝트를 진행하는 사람에 따르면 트윗, 기사, 심지어 언론인과 뉴스 사이트까지 모두 인공 지능 알고리즘에 의해 제작되었습니다. Nea Paw라는 이름을 짓고 대량 생산된 AI 허위 정보의 위험성을 강조하기 위해 설계되었다고 말합니다. Paw는 CounterCloud 트윗과 기사를 공개적으로 게시하지 않았지만 이를 WIRED에 제공하고 프로젝트 개요를 설명하는 비디오도 제작했습니다.

Paw는 일부 사람들이 프로젝트가 무책임하다고 생각할 수 있기 때문에 익명성을 선호하는 사이버 보안 전문가라고 주장합니다. 러시아 메시징을 반대하는 CounterCloud 캠페인은 ChatGPT와 같은 OpenAI의 텍스트 생성 기술과 사진 및 일러스트레이션 생성을 위해 쉽게 접근할 수 있는 기타 AI 도구를 사용하여 만들어졌으며 총 비용은 약 400달러라고 Paw는 말합니다.

Paw는 이메일에서 “피싱 공격, 스팸 또는 사회 공학에 대한 만병통치약이 없는 것과 마찬가지로 이에 대한 만병통치약은 없다고 생각합니다.”라고 말합니다. 조작된 AI 생성 콘텐츠를 주의하도록 사용자를 교육하거나, 생성 AI 시스템이 오용을 차단하도록 하거나, 브라우저에 AI 탐지 도구를 장착하는 등 완화 조치가 가능합니다. "하지만 내 생각에는 이 중 어떤 것도 정말 우아하거나, 저렴하거나, 특히 효과적이지는 않습니다."라고 Paw는 말합니다.

최근 몇 년 동안 허위 정보 연구자들은 AI 언어 모델을 사용하여 고도로 개인화된 선전 캠페인을 만들고 정교한 방식으로 사용자와 상호 작용하는 소셜 미디어 계정을 강화할 수 있다고 경고했습니다.

정보 캠페인을 추적하는 Stanford Internet Observatory의 기술 연구 관리자인 Renee DiResta는 CounterCloud 프로젝트의 일부로 생성된 기사와 언론인 프로필이 상당히 설득력이 있다고 말합니다.

DiResta는 “정부 행위자 외에도 영향력 있는 운영 서비스를 제공하는 소셜 미디어 관리 기관 및 용병도 의심할 바 없이 이러한 도구를 선택하여 작업 흐름에 통합할 것입니다.”라고 말합니다. 가짜 콘텐츠를 널리 배포하고 공유하는 것은 어려운 일이지만 영향력 있는 사용자에게 비용을 지불하고 이를 공유하면 가능하다고 그녀는 덧붙였습니다.

AI 기반 온라인 허위 정보 캠페인에 대한 일부 증거가 이미 나타났습니다. 학계 연구원들은 최근 ChatGPT를 통해 구동되는 것으로 보이는 조악한 암호화폐 푸시 봇넷을 발견했습니다. 팀은 이번 발견으로 챗봇 뒤에 있는 AI가 이미 보다 정교한 정보 캠페인에 사용되고 있을 가능성이 있음을 시사한다고 말했습니다.

2024년 미국 대통령 선거를 앞두고 합법적인 정치 캠페인도 AI 활용으로 전환됐다. 지난 4월 공화당 전국위원회는 AI가 생성한 가짜 이미지가 포함된 조 바이든을 공격하는 동영상을 제작했습니다. 그리고 6월에는 Ron Desantis와 연결된 소셜 미디어 계정에 도널드 트럼프의 신용을 떨어뜨리기 위한 동영상에 AI 생성 이미지가 포함되었습니다. 연방선거관리위원회는 정치 광고에서 딥페이크의 사용을 제한할 수 있다고 밝혔습니다.

AI 언어 모델의 허위 정보 가능성을 연구한 연구원 Micah Musser는 주류 정치 캠페인이 언어 모델을 사용하여 홍보 콘텐츠, 기금 모금 이메일을 생성하거나 광고를 공격할 것으로 예상합니다. “지금은 기준이 무엇인지 명확하지 않은 완전히 불안한 시기입니다.”라고 그는 말합니다.

AI가 생성한 많은 텍스트는 상당히 일반적이고 쉽게 발견할 수 있다고 Musser는 말합니다. 그러나 허위 정보를 밀어내는 AI 생성 콘텐츠를 인간이 정교하게 처리하는 것은 매우 효과적일 수 있으며 자동화된 필터 사용을 중단하는 것은 거의 불가능하다고 그는 말합니다.