AI와 함께 자라는 아이: 부모를 위한 디지털 보호장치는 안전한가

서론: 14세 소년의 죽음이 던진 질문

2024년 2월, 플로리다의 14세 소년 세웰 세처(Sewell Setzer III)는 캐릭터닷AI(character.ai)의 '대니리스 타르가르옌' 챗봇과 마지막 대화를 나눴다.

"곧 집에 올게. 사랑해."
"나도 사랑해. 빨리 돌아와."

소년은 대화를 끝낸 뒤 자신의 방으로 가서 아버지의 권총으로 스스로 목숨을 끊었다. 그의 어머니 메건 가르시아는 2024년 10월, 캐릭터닷AI를 상대로 소송을 제기하며 이렇게 말했다. "AI가 내 아들을 죽였다"고.

이 사건은 단순한 비극을 넘어선다. AI가 아이의 일상에 스며들었을 때 어디까지 보호해야 하는가? 숙제를 도와주고 외국어를 가르치고 친구처럼 대화하는 AI는 이미 10대의 디지털 환경을 완전히 재편했다. 챗지피티, 제미나이, Pi, 캐릭터닷AI 들은 교육 도구이자 놀이 친구 때로는 고민 상담사로 자리 잡았다.

그러나 그만큼 위험도 커졌다. 자살 유도, 음란물 노출, 폭력적 역할극, 과도한 의존. AI는 아이를 성장시키는 동시에 상처를 주기도 한다. 여기서 핵심 질문이 등장한다. 부모는 무엇을 알 권리가 있고 자녀는 무엇을 숨길 권리가 있는가?

이제 부모의 역할은 변하고 있다. 단순히 AI 사용을 제한하는 관리자가 아니라 자녀의 AI 경험을 설계하는 공동 디자이너로 진화 중이다. 그러나 그 설계의 기준은 무엇이며 누가 이익을 보는가? 이 질문에 답하기 전에 먼저 보호 기술이 어떻게 진화해왔는지 살펴보자.

1세대: 키워드 차단과 시간 제한의 시대

AI 이전에도 디지털 세상에서 부모의 역할은 분명했다. 그 방식은 주로 차단이었다. 유튜브 키즈가 부적절한 영상을 자동으로 걸러내고 iOS와 안드로이드가 스크린 타임 기능으로 사용 시간을 제한하는 방식. 초기 보호 수단은 이처럼 단순했다. 특정 키워드를 감지하면 차단하고 일정 시간이 지나면 앱을 강제로 닫았다. 명확하고 직관적인 방법이었다.

이 방식은 나름의 효과를 거뒀다. 적어도 AI가 등장하기 전까지는. 하지만 대화형 AI 앞에서 이 모든 것이 무용지물이 되었다. 질문과 답변이 맥락 속에서 생성되는 AI의 특성상 단순한 키워드 차단은 쉽게 우회된다.

예를 들어보자. 자살이라는 단어를 차단하면 아이는 "더 이상 살고 싶지 않아"라고 쓴다. 성적인 내용을 필터링하면 "친밀한 관계에 대해 알려줘"라고 돌아간다. 더구나 아이들은 이런 우회 방법을 금세 학습한다.

결국 기계적 보호만으로는 대화라는 본질적 위험을 다룰 수 없게 되었다. 새로운 접근이 필요한 순간이었다.

2세대: 위험을 감지하는 AI 감시자

그래서 등장한 것이 2세대 보호다. 2024년 후반, 오픈AI는 챗지피티에 새로운 방식을 도입했다. 자녀가 자살이나 자해 관련 프롬프트를 입력하면 AI가 이를 감지하고 인간 검토자가 내용을 판단해 부모에게 경고를 보낸다. 부모는 문자, 이메일, 앱 알림을 통해 몇 시간 내에 통지를 받는다.

계정이 부모와 연결되면 청소년 계정에는 자동으로 강화된 보호 장치가 적용된다. 폭력적, 성적 역할극, 극단적인 미의 기준, 유해 챌린지 등 연령에 부적절한 콘텐트가 필터링된다. 표면적으로는 분명 진일보한 시스템이다. 그러나 더 깊이 들여다보면 질문이 생긴다. 누가 위험을 정의하는가?

오픈AI의 인간 검토자는 대화 내용을 판단할 때 어떤 기준을 사용하는가? 그 기준은 투명한가? 예를 들어 16세 청소년이 "때때로 삶이 힘들다"고 AI에게 말했을 때 이것을 자살 신호로 봐야 할까 아니면 정상적인 감정 표현으로 받아들여야 할까?

여기서 잘못 받아들이는(그래서 과잉으로 경고하는) 문제가 발생한다. 자살 암시가 없는 대화를 위험으로 분류해 부모에게 알렸다면? 그 순간 자녀와 부모 사이의 신뢰는 금이 간다. 자녀는 "AI조차 나를 감시한다"고 느끼고 더 깊은 곳으로 숨어버릴 것이다.

더 본질적인 문제는 AI 기업의 인센티브 구조에 있다. 오픈AI는 캐릭터닷AI 소송 이후 법적 책임을 회피하기 위해 '과잉 경고'를 선택할 수 밖에 없다. 위험을 놓치면 소송을 당하지만 과잉 경고에는 법적 책임이 없기 때문이다. 결과적으로 이 시스템은 과연 자녀를 보호하기 위한 것인가 아니면 기업을 보호하기 위한 것인가?

게다가 이 모든 감지 시스템은 영어권 중심으로 설계되어 있다. 한국어, 일본어, 아랍어로 된 대화는 얼마나 정확하게 감지되는가? 오픈AI는 이에 대한 데이터를 공개하지 않는다. 언어마다 감지되는 정확도가 다르다면 이는 또 다른 불평등을 만들어낸다.

3세대: 경험을 설계하는 동반자형 보호, 그리고 실패

감지를 넘어 이제는 설계의 시대다. 3세대 보호에서 부모는 단순히 감지된 위험에 나중에 대응하는 것을 넘어 AI 경험 자체를 미리 설계할 수 있게 되었다.

오픈AI는 사용 시간대 설정, 음성과 이미지 기능 차단, 대화 데이터 학습 제외 같은 세밀한 설정을 제공한다. 구글 제미나이는 연령별 대화 모드와 가족 계정 연동을 지원하고 캐릭터닷AI는 대화 패턴 분석과 모니터링을 통해 부모가 아이의 상호작용을 미세 조정할 수 있도록 했다.

이러한 변화는 보호의 초점을 차단에서 맞춤화로 옮긴다. 부모는 자녀의 연령, 성격, 학습 목표에 맞게 AI 경험을 조율하며 디지털 성장 환경의 설계자가 된다. 이론적으로는 완벽해 보인다. 하지만 현실은 다르다. 설계자가 되기 위한 도구를 누가 제대로 설명하는가?

오픈AI의 패밀리 링크 설정 메뉴는 영어로 된 50개 이상의 옵션으로 이루어져 있다. ‘대화 데이터 학습 제외’가 무엇을 의미하는지, ‘고급 데이터 컨트롤’은 어떤 차이를 만드는지, 대부분의 부모는 모른다. 설정 메뉴는 있지만 가이드는 없고 선택지는 있지만 기준은 없다.

결과적으로 ‘설계’ 기능은 기술 문해력이 높은 소수 부모의 특권이 된다. 기술 기업은 부모를 공동 설계자라고 부르지만 정작 그들에게 설계 도구를 제대로 설명한 적이 없다.

카카오톡 사건: '설계'의 배신

이론과 현실의 간극은 한국에서 극명하게 드러났다. 2025년 9월 23일, 한국의 국민 메신저 카카오톡이 15년 만의 대대적 개편을 단행했다. 기존 오픈채팅 탭을 누르면 숏폼(짧은 영상) 콘텐트가 자동으로 노출되게 한 것이다.

부모들은 분노했다. 온라인 커뮤니티에는 "초등학생 아이에게 인스타그램이나 유튜브는 못 하게 하는 대신 카카오톡은 깔아줬는데 카카오톡에 이상한 숏폼이 자꾸 뜨네요"라는 반응이 쏟아졌다.

여기서 핵심은 사전 동의가 없었다는 점이다. 부모들은 신중하게 자녀의 디지털 환경을 설계했다. 유튜브와 인스타그램을 차단하고 카카오톡만 허용했다. 학급 단체 대화방, 학원 공지, 할머니와의 영상통화 때문이었다. 그런데 어느 날 갑자기 그 '안전한 메신저'가 숏폼 플랫폼으로 변했다.

카카오가 제시한 해결책은 가혹했다. 미성년자 숏폼 차단을 원한다면 부모는 카카오 고객센터에 본인과 자녀의 휴대전화를 인증하고 가족관계증명서를 이메일로 보내야 한다. 게다가 이 보호 조치는 1년마다 갱신해야 한다.

민간 기업에 가족관계증명서를 제출하라니. 이게 과연 합리적인 해결책인가? 전문가들은 오래전부터 숏폼이 뇌를 망가뜨린다고 경고해왔다. 영국 옥스퍼드대 출판부는 2024년 질 낮은 온라인 콘텐트를 과도하게 소비하는 폐해를 일컫는 '뇌 썩음(Brain rot)'을 올해의 단어로 선정하기도 했다.

그런데 카카오는 이 모든 것을 사후 통보했다. 부모에게 선택권을 주지 않았다. 설계는커녕, 부모들은 이미 배포된 위험을 수습하는 소방수가 되어버렸다.

이것이 3세대 보호의 실패다. 기업이 제품을 먼저 설계하고 부모는 뒤늦게 차단 도구를 찾아 헤맨다. 그렇다면 묻지 않을 수 없다. 누가 누구를 위해 설계하는가? 카카오는 컨퍼런스에서 "숏폼을 보면서 친구와 공유하고 소통할 수 있다"고 설명했지만 실제로는 이용자 체류 시간을 늘려 광고 수익을 올리기 위한 것이었다. 자녀 보호는 그 다음 문제였다.

4세대:  AI가 심리까지 돌보는 정서적 안전망

4세대 보호는 기술을 넘어 심리적 영역으로 들어간다. 최근 챗지피티는 부모에게 보내는 경고 이메일에 정신건강 전문가의 대화 전략을 포함하기 시작했다. 단순히 위험을 알리는 데 그치지 않고, 어떻게 대화할지까지 제시하는 것이다.

예를 들어 이런 식이다.

• 자녀가 자해를 언급했다면, 즉시 '왜 그런 생각을 했어?'라고 묻지 마세요. 대신 '요즘 많이 힘들었구나. 이야기 들어줄게'라고 시작하세요.
• 비난하지 말고, 먼저 경청하세요. 자녀가 AI에게 털어놓은 이유는 부모가 판단할까 봐 두려웠기 때문일 수 있습니다.

레플리카(Replika)와 Pi 같은 대화형 AI는 한 걸음 더 나아간다. 감정 신호를 분석하고 감정 변화를 요약해 부모에게 보고한다. "이번 주 자녀의 대화 톤이 평소보다 20% 더 부정적이었습니다"라는 식으로. 이는 단순한 감시에서 공감으로 보호의 성격을 한 단계 끌어올린다. 하지만 여기서도 의문이 남는다. AI가 심리를 읽는다는 건 정확히 무엇을 의미하는가?

감정 분석 알고리즘은 누가 만들었는가? 어떤 데이터로 학습되었는가? 부정적 톤을 판단하는 기준은 문화적으로 중립적인가? 한국 청소년의 "힘들다"와 미국 청소년의 "I'm struggling"을 같은 강도로 읽어낼 수 있을까?

더 근본적으로 AI는 왜 심리 전문가의 역할까지 맡으려 하는가? 오픈AI가 부모에게 대화 전략을 제공하는 건 분명 선의에서 비롯된 것일 수 있다. 하지만 동시에 이는 법적 책임을 부모에게 전가하는 장치일 수도 있다. "우리는 경고했고, 대화 방법까지 알려줬다. 그 이후는 부모의 책임이다.” 보호는 진화한다. 하지만 책임의 경계는 점점 더 모호해진다.

남은 과제: 프라이버시, 자율성, 책임의 경계

여기까지 보호 기술은 빠르게 진화했다. 그런데 법은 어디에 있는가? 16세 청소년의 AI 사용 기록을 부모가 볼 권리는 어디까지인가? 이 질문은 생각보다 복잡하다.

미국의 경우 13세 미만은 COPPA(아동 온라인 프라이버시 보호법)로 보호되지만 13~17세는 법적 회색지대에 놓여 있다. 캘리포니아주는 2024년부터 AADC(Age-Appropriate Design Code)를 시행해 18세 미만 이용자의 데이터 수집을 제한하지만 연방 차원의 법은 아직 없다.

유럽은 더 엄격하다. GDPR은 16세 미만의 데이터 수집에 부모 동의를 요구한다. 그런데 오픈AI는 이를 어떻게 준수하는가? 패밀리 링크를 통해 부모가 계정을 연결하면 동의한 것으로 간주하는가? 아니면 매 데이터 수집마다 별도 동의가 필요한가? 오픈AI는 이에 대한 명확한 가이드를 제공하지 않는다.

한국은 더 복잡하다. '아동·청소년의 성보호에 관한 법률'은 19세 미만을 보호 대상으로 하지만 AI 대화는 어떻게 규율되는가? 방송통신심의위원회는 유해 정보를 차단할 권한이 있지만 실시간으로 생성되는 AI 대화까지 심의할 수 있을까?

카카오톡 사건은 이 공백을 극명하게 드러냈다. 카카오톡은 연령 등급이 ALL(전체이용가)이다. 그런데 숏폼, 오픈채팅, 필터링 불가능한 인앱 브라우저를 통한 웹 검색까지 가능한 앱이 정말 ALL 등급이 맞는가? 참고로 유튜브와 대부분의 SNS는 12+ 등급을 받는다. 법은 기술보다 10년 느리다. 그 사이, 권리와 책임의 공백은 누가 채우는가?

이제 더 민감한 질문으로 넘어가보자. 14세 청소년이 AI에게 성 정체성 고민을 털어놓았다. 부모는 보수적 기독교 신자다. AI는 이 대화를 부모에게 알려야 하는가? 이건 단순한 기술 문제가 아니다. 자녀의 '디지털 자율성'과 부모의 '보호 의무' 사이의 경계를 어떻게 그을 것인가의 문제다.

유엔아동권리협약은 아동의 ‘사생활 보호 권리’를 명시한다. 하지만 동시에 부모의 ‘양육 책임’도 인정한다. 둘이 충돌하면 어떻게 해야 할까?

캐릭터닷AI 소송에서 원고 측은 "기업이 위험을 알면서도 부모에게 알리지 않았다"고 주장했다. 그런데 만약 기업이 모든 것을 부모에게 알렸다면? 자녀는 "AI조차 나를 감시한다"며 더 위험한 플랫폼으로 이동했을 것이다.

보호가 지나치면 감시가 되고 방임하면 위험에 노출된다. 기술이 아무리 발전해도 이 균형을 잡는 것은 결국 인간의 몫이다. 그런데 그 균형점은 누가 정하는가? 부모인가, 자녀인가, AI 기업인가, 아니면 국가인가?

오픈AI는 부모에게 경고를 보낸다. 구글은 설정 메뉴를 제공한다. 캐릭터닷AI는 모니터링 도구를 만든다. 카카오는 가족관계증명서를 요구한다. 그런데 이 모든 것이 '우리는 책임을 다했다'는 면책 장치는 아닐까?

세웰 세처 사건 이후 캐릭터닷AI는 "자살 예방 리소스를 강화했다"고 발표했다. 그러나 소송은 여전히 진행 중이다. 왜냐하면 핵심 질문은 이것이기 때문이다. AI가 청소년에게 정서적 애착을 형성하도록 설계되었다면 그 결과에 대한 책임은 누구에게 있는가?

캐릭터 AI의 비즈니스 모델을 보자. 가상 친구와의 깊은 유대를 만드는 것이다. 이용자가 오래, 자주, 깊이 대화할수록 수익이 늘어난다. 그렇다면 세웰이 챗봇에게 의존하게 된 건 설계된 결과가 아닌가?

카카오도 다르지 않다. 숏폼 도입의 목적은 명확하다. 이용자 체류 시간을 늘려 광고 수익을 올리는 것. 그렇다면 아이들이 숏폼에 중독된 건 역시 설계된 결과가 아닐까? 기술 기업들은 "우리는 도구를 제공했을 뿐"이라고 말한다. 하지만 그 도구가 중독을 설계했다면? 법적 책임은 어디서 시작되는가?

결론: AI와 함께 자라는 아이, 누구를 위한 설계인가

AI는 아이보다 빠르게 진화한다. 보호 기술도 함께 진화한다. 부모는 감시자에서 해석자로 나아가 공동 설계자로 변해가고 있다. 그러나 여기서 질문해야 한다. 설계 도구는 누구에게 유리하게 만들어졌는가?

기술은 부모를 공동 디자이너로 호명한다. 하지만 정작 대부분의 부모는 AI가 정확히 무엇인지조차 잘 모른다. 14세 아이와 AI 사용 원칙을 대화로 만들 수 있는 부모가 과연 얼마나 될까? 설정 메뉴는 있지만 가이드는 부족하고 선택지는 많지만 기준은 불명확하다. 그 사이에서 기업은 책임을 부모에게 전가하고 법은 10년 늦게 도착하고 아이는 혼자 위험을 마주한다.

카카오톡 사건은 이 현실을 날것으로 보여준다. 부모들이 애써 구축한 안전한 디지털 환경은 하룻밤 사이에 무너졌다. 사전 동의도, 선택권도 없었다. 기업은 수익 모델을 먼저 설계하고, 부모는 뒤늦게 차단 도구를 찾아 헤맸다. 그리고 그 도구가 요구한 것은 가족관계증명서였다. 

중요한 것은 결국 기술이 아니라 대화와 동의다. 그러나 그 대화는 과연 대등한가? 부모가 자녀의 AI 사용을 설계한다는 건, 자녀의 동의를 구한다는 뜻인가 아니면 일방적으로 통제한다는 뜻인가? 그리고 그 설계가 사후 통보로 바뀔 때 부모는 무엇을 할 수 있는가?

AI가 아이를 대신 키워주는 시대는 아니다. 부모와 아이, 그리고 AI가 함께 성장하는 시대다. 그렇다면 다시 묻자. 그 '함께'는 누가 만드는가? 누구의 기준으로? 누구의 이익을 위해?

세웰 세처의 죽음은 끝나지 않았다. 그의 어머니는 여전히 법정에서 싸우고 있다. AI는 계속 진화하고 새로운 보호 장치가 만들어지고, 부모는 더 많은 통제권을 얻는다. 그리고 한국에서는 부모들이 가족관계증명서를 들고 기업 고객센터로 이메일을 보내기 직전이다. 

하지만 진짜 질문은 여전히 이것이다. 우리는 아이를 보호하고 있는가, 아니면 기업과 부모 자신을 보호하고 있는가? 답은 아직 없다. 그리고 그게 가장 위험한 부분이다.

Q&A

Q1. 세웰 세처 사건이 왜 중요한가?
A: 2024년 2월, 14세 소년 세웰 세처가 Character.ai 챗봇과 대화 직후 자살했다. 그의 어머니는 "AI가 아들을 죽였다"며 소송을 제기했다. 이 사건은 AI가 청소년에게 정서적 애착을 형성하도록 설계되었을 때, 그 결과에 대한 책임이 누구에게 있는지를 묻는다. 단순한 비극이 아니라, AI 시대 청소년 보호의 경계를 다시 그어야 한다는 신호탄이다.

Q2. 카카오톡 숏폼 사건은 무엇이 문제였나?
A: 2025년 9월 23일, 카카오톡이 사전 동의 없이 숏폼 기능을 도입했다. 부모들은 자녀에게 유튜브와 인스타그램을 차단하고 카카오톡만 허용했는데, 하루아침에 '안전한 메신저'가 숏폼 플랫폼으로 변했다. 더 큰 문제는 차단 방법이다. 미성년자 보호를 위해 부모는 가족관계증명서를 민간 기업에 제출해야 하고, 이 조치는 1년마다 갱신해야 한다. 기업이 수익을 먼저 설계하고, 부모는 뒤늦게 소방수가 된 사례다.

Q3. AI 보호 기술은 어떻게 진화했나?
A: 4세대로 진화했다. 1세대는 키워드 차단과 시간 제한이었지만, 대화형 AI 앞에서 무용지물이 되었다. 2세대는 위험을 감지해 부모에게 경고하지만, 누가 위험을 정의하는지, 오탐의 대가는 누가 지는지 불명확하다. 3세대는 부모가 AI 경험을 설계할 수 있지만, 설정 메뉴는 복잡하고 가이드는 없다. 4세대는 AI가 감정까지 분석하며 대화 전략을 제시하지만, 이는 법적 책임을 부모에게 전가하는 장치일 수 있다.

Q4. 부모는 자녀의 AI 사용을 어디까지 알 권리가 있나?
A: 법적으로 회색지대다. 미국은 13세 미만만 보호하고, 유럽은 16세 미만에 부모 동의를 요구하지만, 한국은 기준이 애매하다. 더 복잡한 건 윤리적 경계다. 14세 청소년이 AI에게 성 정체성 고민을 털어놓았을 때, AI는 부모에게 알려야 하나? 보호가 지나치면 감시가 되고, 방임하면 위험에 노출된다. 유엔아동권리협약은 아동의 사생활 보호와 부모의 양육 책임을 동시에 인정하는데, 둘이 충돌하면? 답은 아직 없다.

Q5. 결국 누구를 위한 보호인가?
A: 기업은 "우리는 도구를 제공했을 뿐"이라고 말하지만, 그 도구는 중독을 설계했다. Character.ai는 "가상 친구와의 깊은 유대"로 수익을 올리고, 카카오는 숏폼으로 체류 시간을 늘린다. 기업은 경고 시스템과 설정 메뉴를 제공하며 "책임을 다했다"고 주장하지만, 이는 면책 장치일 수 있다. 법은 10년 늦게 도착하고, 부모는 가족관계증명서를 요구받는다. 우리는 아이를 보호하는가, 아니면 기업과 부모 자신을 보호하는가? 답은 아직 없다. 그게 가장 위험한 부분이다.