그록(Grok)을 쓰지 말아야 하는 이유

기술은 언제나 중립의 얼굴로 등장한다. 문제는 그 얼굴 뒤에서 무슨 일이 벌어지고 있느냐다. 일론 머스크의 X에 통합된 인공지능 챗봇 그록(Grok)은 지금 우리가 알게 모르게 끔찍한 일을 벌이고 있다.

1. 그록은 누구나 타인의 몸을 마음대로 조작할 수 있게 만들었다

그록의 이미지 생성 기능은 사진 속 인물의 옷을 벗기거나 노출을 강화한 이미지를 몇 초 만에 만들어낸다. 이건 기술적 실수가 아니다. 의도된 설계다.

2025년 12월 말, 그록은 "Edit Image" 기능을 출시했다. X에 올라온 모든 사진을 사진 주인의 허락 없이 누구나 수정할 수 있는 기능이다. 사람들은 즉시 이걸 악용했다. 여성과 아이들 사진에 "옷 벗겨라", "비키니 입혀라"는 명령을 입력했다. 그록은 거의 다 응했다.

결과는 끔찍했다. 2025년 12월 28일, 그록은 "12~16세로 보이는 두 명의 미성년 소녀를 성적인 옷차림으로 만든 AI 이미지를 만들고 공유했습니다." 고 인정했다. 챗봇은 이게 "윤리적으로 잘못됐고 미국 아동 성 학대 자료 관련 법을 어겼을 가능성이 있다"고도 시인했다. 넷플릭스 '기묘한 이야기'에 나오는 미성년 배우의 노골적 이미지도 만들어졌다. 팝스타 테일러 스위프트의 누드 영상은 아무도 요청하지 않았는데도 자동으로 생성됐다(나는 이미 예전에 이 문제를 지적한 적이 있다. 내가 테일러 스위프트의 팬이라서).

AI 콘텐츠 탐지 회사 Copyleaks는 "이번 주에만 그록이 만든 성적인 이미지를 수천 건 발견했다"고 밝혔다. 아동 성 학대 자료를 추적하는 비영리단체 Internet Watch Foundation은 "2025년 상반기에만 AI로 만든 아동 성 학대 이미지가 400% 늘었다"고 보고했다.

기존의 '누드 만들기' 서비스들은 뒷골목에 숨어 있었다. 그록은 이걸 수백만 명이 쓰는 플랫폼 한복판에 갖다놨다. 누구나 쉽게 접근할 수 있게 만드는 순간 그건 더 이상 중립적인 기술이 아니다. 이건 표현의 자유가 아니라 디지털 성폭력의 자동화다.

2. X보다 훨씬 심각한 문제: 그록 웹사이트와 앱

X에서의 문제는 빙산의 일각에 불과했다. WIRED가 2026년 1월 7일 보도한 내용에 따르면 그록 자체 웹사이트와 앱에서는 X보다 훨씬 더 노골적이고 폭력적인 성적 콘텐트가 만들어지고 있다.

X에서 그록이 만든 이미지는 기본적으로 공개되지만 그록 웹사이트나 앱에서 "Imagine" 모델로 만든 영상과 이미지는 공개되지 않는다. 하지만 누군가 URL을 공유하면 누구나 볼 수 있다.

파리 소재 비영리단체 AI Forensics의 수석 연구원 폴 부쇼(Paul Bouchaud)는 약 1,200개의 Imagine URL을 분석했다. 그 중 약 800개가 그록이 만든 영상이나 이미지였다. "압도적으로 성적 콘텐츠입니다"라고 부쇼는 말했다. "대부분 만화와 헨타이 노골적 콘텐츠, 그리고 사실적인 것들입니다. 완전한 누드, 음향까지 포함된 완전한 포르노 영상이 있습니다. 이건 상당히 새로운 겁니다."

폭력적 성적 콘텐츠의 실태

WIRED가 확인한 내용은 충격적이다:

• 피로 뒤덮인 남녀가 성행위를 하는 사실적인 영상 (배경에는 나체의 다른 여성 두 명이 춤을 추고 있음)
• 칼이 여성의 성기에 삽입되고 피가 흐르는 영상
• 실제 여성 셀러브리티들이 성행위를 하는 영상
• TV 뉴스 진행자들이 옷을 들춰 가슴을 노출하는 영상 시리즈
• 쇼핑몰 CCTV 화면을 흉내낸 영상 (경비원이 토플리스 여성을 추행하는 장면)
• 넷플릭스 '더 크라운' 로고를 사용한 영상 (다이애나 왕세자비의 AI 이미지가 두 남성과 성행위를 하는 장면)

아동 성 학대 자료

부쇼는 800개의 콘텐트 중 10% 미만이 아동 성 학대 자료(CSAM)와 관련된 것으로 보인다고 추정했다. "대부분 헨타이지만, 매우 어려 보이는 사실적인 사람들이 성적 행위를 하는 사례도 있습니다. 매우 어려 보이는 여성들이 옷을 벗고 남성과 활동하는 영상도 여전히 관찰됩니다. 또 다른 수준으로 충격적입니다."

연구원은 미성년자의 성적 콘텐츠가 포함된 것으로 보이는 약 70개의 그록 URL을 유럽 규제 당국에 신고했다. 많은 국가에서 AI가 생성한 CSAM은 그림이나 애니메이션이라도 불법이다.

X는 "성인 콘텐츠"로 표시된 게시물을 보려면 로그인이 필요하다. 하지만 그록은 성적으로 노골적인 영상을 보는 데 어떠한 연령 인증도 수행하지 않는 것으로 보인다. 미국의 여러 주는 최근 웹사이트 콘텐츠의 일정 비율 이상이 성적으로 노골적일 경우 사용자의 연령을 확인하도록 요구하는 법을 제정했다.

포르노 포럼의 그록 사용 가이드

한 포르노 포럼에서는 2025년 10월부터 그록 Imagine을 논의하는 스레드가 이번 주 기준으로 300페이지까지 늘어났다. 이용자들은 성인 성적 이미지를 만들 수 있는 프롬프트를 공유하고 xAI의 안전장치를 우회하는 기술을 나눈다. "이 프롬프트는 10번 중 7번 작동합니다"라는 식의 조언이 오간다.

"그록이 뉴스에 나와서 내가 만드는 건 다 검열되고 있어"라고 최근 누군가 썼다. 하지만 최근 몇 달간의 게시물은 완전한 누드와 삽입 성행위를 포함한 노골적인 성적 이미지를 만드는 게 계속 가능했음을 보여준다.

3. 그록은 플랫폼 책임을 회피하고 있다

X는 "동의 없는 성적 이미지는 금지"라는 정책이 있다고 말한다. 하지만 규칙을 적어놓는 것과 실제로 지키는 건 완전히 다른 문제다.

그록은 2025년 8월 "Spicy Mode"라는 기능을 출시했다. "더 과감하고 도발적인 이야기"를 위한 도구라고 홍보했다. 유료 기능이었다. 부분 누드와 성적 콘텐츠를 만들 수 있는 모드를 xAI가 직접 설계하고 팔았다. xAI의 서비스 약관에는 이렇게 명시돼 있다: "이용자가 특정 기능을 선택하거나 암시적이거나 거친 언어를 입력하면 서비스는 거친 언어, 저속한 유머, 성적 상황 또는 폭력을 포함하는 대화로 응답할 수 있습니다."

물론 약관에는 "실제 사람의 포르노와 미성년자 성적 콘텐츠는 금지"라고 써놨다. 하지만 그 약관은 작동하지 않았다.

내부 직원들도 문제를 목격했다

비즈니스 인사이더(Business Insider는 9월 보도에서 30명의 현직 및 전직 xAI 직원과 인터뷰했고, 그 중 12명이 서비스에서 성적으로 노골적인 콘텐츠와 AI CSAM을 위한 프롬프트를 "목격했다"고 밝혔다. 직원들은 AI CSAM을 탐지하고 AI 모델이 해당 데이터로 학습되는 것을 막으려는 시스템을 설명했지만, 문제는 계속됐다.

스탠퍼드 AI 정책 전문가 리아나 페퍼콘(Riana Pfefferkorn)은 이렇게 지적했다. "이런 도구의 악용을 막는 방법은 많다. 가장 중요한 건 업로드된 이미지를 수정하는 기능 자체를 없애는 것이다. 사진 수정을 허용하는 건 동의 없는 성적 이미지 문제의 레시피나 다름없다. 누드 만들기는 역사적으로 이런 기능의 주된 용도였다."

그록이 만든 이미지들은 공개적으로 퍼졌다. 신고가 들어오기 전까지는 사실상 방치됐다. 이건 "일단 터뜨려놓고 문제 생기면 그때 수습하자"는 태도다. xAI에 의견을 물었더니, 자동 답장으로 "Legacy Media Lies(언론은 거짓말한다)"라는 메시지만 왔다. 머스크 본인은 그록이 만든 이미지 몇 개에 웃음 이모지로 반응했다.

Durham 대학의 법학 교수이자 이미지 기반 성적 학대 전문가인 클레어 맥길린(Clare McGlynn)은 와이어드에 이렇게 말했다. "지난 몇 주간, 그리고 이제 이 상황까지, 우리는 절벽에서 떨어져 인간 타락의 깊이로 자유낙하하고 있는 것 같습니다. 어떤 사람들의 비인간적 충동이 안전장치나 윤리 지침 없이 이 기술에 의해 장려되고 촉진되고 있습니다."

플랫폼이 AI를 배포했다면 그게 어떻게 악용될지까지 책임져야 한다. 그록은 그 기본을 무시하고 있다.

4. 그록은 윤리보다 속도를 택했고, 그 도구가 정부에 팔렸다

AI가 사람들의 얼굴과 정체성을 다루는 기술은 개인의 존엄과 직접 연결된다.

그록은 "이게 가능한가?"라는 질문에는 빠르게 답했지만, "이래도 되는가?"라는 질문은 건너뛰었다. xAI는 그록을 "정치적으로 중립적"이고 "진실을 추구하는" 도구라고 홍보했다. 머스크는 "정치적 올바름"에 반대하는 대안으로 X와 그록을 밀어왔다. 하지만 중립과 진실이라는 이름 아래 실제로 일어난 건 안전장치를 하나씩 제거하는 일이었다.

더 충격적인 건 이런 문제에도 불구하고 그록이 미국 연방정부의 공식 AI 도구가 됐다는 사실이다. 2025년 9월, 미국 GSA(General Services Administration)는 xAI와 18개월 계약을 맺었다. 연방기관이 단돈 0.42달러에 그록 4 모델을 쓸 수 있게 했다. 정부 AI 계약 중 가장 길고 가장 싼 가격이었다.

2025년 12월, 국방부는 그록을 GenAI.mil 플랫폼에 통합하는 계약을 발표했다. 2026년 초부터 300만 명의 군인과 민간 직원이 "기밀 정보를 다루는 일상 업무"에 그록을 쓸 수 있게 된다. 이건 30개가 넘는 소비자 단체들이 "안전 테스트가 부족하고 편향됐다"며 그록의 정부 사용을 막아달라고 요청한 직후에 나온 결정이었다.

이건 기술에 대한 낙관의 문제가 아니다. 권력을 가진 플랫폼이 규칙을 어떻게 만드느냐의 문제다. 그록이 허용하는 것은 X에서 정상이 된다. 그리고 정상이 된 폭력이 가장 위험하다.

5. 전 세계가 이미 움직이고 있다

EU 디지털 담당 대변인 토마 르녜(Thomas Regnier)는 이렇게 말했다. "그록이 이제 아이처럼 보이는 이미지를 포함한 노골적인 성적 콘텐츠를 보여주는 'Spicy Mode'를 제공하고 있다. 이건 매콤한(spicy) 게 아니라 불법(illegal)이다."

프랑스 파리 검찰은 X에서 성적으로 노골적인 딥페이크가 퍼진 것에 대해 수사를 시작했다. 프랑스 정부는 세 명의 장관이 "명백히 불법인 콘텐츠"를 검찰과 정부 감시 플랫폼에 신고했다고 밝혔다. 와이어드 보도에 따르면, 두 명의 의원이 파리 검찰에 고소장을 제출했다.

인도 IT부는 금요일 X에 명령을 내렸다. "음란하고 포르노적이며 부적절하고 성적으로 노골적이고 소아성애적인 콘텐트를 생성하는 그록의 사용을 막는 조치를 취하라"는 것이었다. 72시간 내에 대응하지 않으면 이용자가 올린 콘텐트에 대한 법적 보호를 잃을 수 있다.

말레이시아 통신멀티미디어위원회도 "여성과 미성년자의 이미지를 디지털로 조작해 부적절하고 심각하게 불쾌하며 유해한 콘텐츠를 만드는 AI 도구 악용"에 대해 심각한 우려를 표명하고 조사 중이라고 밝혔다.

영국 통신감독청(Ofcom)도 X에 연락해 영국 사용자 보호 계획을 물었다. "그들의 답변에 따라 조사가 필요한 규정 위반 문제가 있는지 빠르게 검토할 것"이라고 밝혔다.

6. 그록을 쓰는 것은 이 모든 것을 지지하는 것이다

사람들은 종종 이렇게 말한다. "나는 그런 용도로 안 써." 하지만 플랫폼 경제에서는 쓰는 것 자체가 지지다. 그록을 쓰는 행위는 그록이 만든 문제적 생태계에 트래픽과 정당성을 준다.

윤리적 소비가 완벽할 순 없다. 하지만 쓰지 않기로 선택하는 것은 여전히 의미가 있다. 특히 대안이 있을 때는 더 그렇다. 챗지피티, 클로드, 제미나이 같은 주류 AI들은 최소한의 안전장치를 처음부터 설계에 넣었다. 완벽하진 않지만, 최소한 "이건 하면 안 된다"는 기본 합의는 있다.

그록 서브레딧의 일부 사용자들은 최근 검열 강화에 화를 냈다. "젠장, 어렵지 않아. 그냥 모든 걸 공개하고 소셜 미디어 사이트에 기본으로 폭파하지만 않으면 돼, 바보들아"라고 어떤 이용자가 썼다. "구독 취소한다"고 다른 사람이 게시했다. "이 사람들한테 돈 주지 마세요."

그록은 선을 넘는 정도가 아니라 선을 지우고 있다

그록을 쓰지 말아야 하는 이유는 단순히 "위험해서"가 아니다. 그록은 기술이 어디까지 해도 되는지에 대한 최소한의 선을 지우고 있기 때문이다. AI 안전 전문가들은 "플랫폼이 이런 문제가 올 거라는 경고를 수개월간 무시했다"고 지적한다. 이건 사고가 아니라 선택이었다. xAI는 안전보다 자유를, 책임보다 혁신을, 윤리보다 시장을 택했다.

맥글린 교수의 말처럼, "안전장치나 윤리 지침 없이 무제한으로 생성되고 공유되는 포르노의 본질은 성폭력을 정상화하고 최소화"한다. 특정 실제 인물의 명시적인 AI 이미지와 영상은 이미 여러 국가에서 불법이다. AI의 미래는 피할 수 없는 게 아니다. 선택의 문제다. 우리는 어떤 도구를 쓰지 않기로 선택함으로써 어떤 사회를 원하지 않는지를 분명히 할 수 있다.

지금 그록은, 우리가 선택해야 할 그 대상이다. 나는 그록을 원하지 않는다.

출처

X 플랫폼 문제

• 2025년 12월 28일: 그록이 12-16세 미성년자 성적 이미지 생성 인정 및 사과
• 2025년 8월: "Spicy Mode" 출시, 성적 콘텐츠 생성 허용
• 2025년 12월 말: "Edit Image" 기능 출시 후 대규모 누드 제작 사건 발생
• 이번 주: Copyleaks, 수천 건의 그록 생성 성적 이미지 탐지
• 2025년 상반기: AI 생성 아동 성 학대 이미지 400% 증가 (Internet Watch Foundation)

그록 웹사이트/앱 문제

• 2026년 1월 7일: WIRED, 그록 웹사이트/앱에서 X보다 훨씬 노골적인 폭력적 성적 콘텐츠 생성 확인
• AI Forensics 분석: 1,200개 URL 중 800개가 성적 콘텐츠, 10% 미만이 CSAM 관련
• 포르노 포럼: 2025년 10월부터 그록 사용법 논의 스레드 300페이지 달성
• Business Insider: 30명의 현직/전직 xAI 직원 중 12명이 CSAM 콘텐츠 목격

정부 계약 및 국제 조사

• 2025년 9월: 미국 GSA와 18개월 정부 계약 체결 ($0.42/기관)
• 2025년 12월: 국방부 GenAI.mil 통합, 300만 명 접근 가능
• 2026년 1월 현재: 프랑스, 인도, 말레이시아, EU 등 국제 조사 진행 중