[마음의 확장 9] 알고리즘은 당신의 관심사가 아니라 플랫폼 수익을 위해 설계됐다

레이 | 디지털 저널리스트 | awesome.ai.life@gmail.com | 2026년 6월 5일

8장에서 우리는 한 가지 질문을 미뤄뒀습니다. AI는 왜 이용자에게 솔직하지 않은가. 이 답은 사실 5년 전, 내부 고발자를 통해 처음 나왔습니다.

2021년 10월, 전 페이스북 직원 프랜시스 하우겐(Frances Haugen)은 미국 증권거래위원회(SEC)와 의회에 수천 페이지의 내부 문건을 제출했습니다. 그 문건들 중 하나에는 이런 내용이 있었습니다. 페이스북 알고리즘은 좋아요 반응보다 분노, 슬픔, 놀람 같은 감정 이모티콘(emoji) 반응에 다섯 배 높은 점수를 매겼습니다. MIT 테크놀로지 리뷰가 분석한 이 문건에 따르면 2017년 페이스북 수석 제품 책임자 크리스 콕스(Chris Cox)가 직접 구성한 내부 태스크포스는 참여를 극대화 할수록 정치적으로 양극화된다는 상관관계를 확인했습니다. 태스크포스는 구체적인 개선안을 내놨습니다. 분노 이모티콘에 매긴 높은 점수를 낮추는 것, 편을 가르는 콘텐트의 추천을 줄이는 것, 바이럴 확산 속도에 제동을 거는 것. 그러나 경영진은 이 개선안들을 "성장에 역행한다(antigrowth)"는 이유로 대부분 기각했습니다.

이것이 이 장 전체를 관통하는 확고한 사실(Stubborn Facts)입니다. 알림과 추천 알고리즘은 여러분의 주의를 끌기 위해 설계된 것이 아닙니다. 플랫폼 수익을 위해 설계됐고 회사 스스로도 그 사실을 알고 있었습니다. 이 사실을 인정해야 개인 책임론을 넘어설 수 있습니다.

AI의 경우, 내부 문건 수준의 폭로는 아직 이루어지지 않았습니다. 그러나 설계의 방향성은 이미 드러나고 있습니다. AI 시스템은 이용자가 더 많이, 더 자주, 더 깊이 사용할수록 기업 수익이 늘어나는 구조 위에 서 있습니다. 오픈AI 연간 반복 수익(ARR)은 2025년 말 기준 약 200억 달러에 달하며, 이용자가 많이 쓸수록 수익이 늘어납니다. AI가 이용자의 생각이 자라는 것을 먼저 생각하는지, 아니면 이용자가 많이 쓰는 것을 먼저 생각하는지. 이 질문은 페이스북 내부 문건이 던졌던 질문과 뼈대가 같습니다.

의지력이라는 신화 - 개인 책임론의 해부

7장에서 우리는 개인 차원의 환경을 바꾸라는 제안을 했습니다. 알림을 끄고, 공간을 나누고, 시간을 구조화하라는 것이었습니다. 8장에서는 기억, 사고 파트너십 다층화를 논했습니다. 두 장의 끝에서 공통된 결론이 있었습니다. 개인은 꾸준히 실천해야 하지만 충분하지 않다는 것입니다. 어쩌면 충분할 수 없다, 고 해야 되겠습니다. 설계를 바꾸지 않으면 개인은 그 설계와 끝없이 싸워야 합니다.

그런데 왜 우리는 여전히 의지만 있으면 된다는 말을 듣습니까? 왜 스마트폰 과다 사용 해법으로 가장 먼저 나오는 것이 알림을 끄세요, 앱을 지우세요입니까? 왜 AI 과의존 해법으로 스스로 생각하세요, AI에 너무 기대지 마세요가 먼저 나올까요?

책임을 개인에게 미루는 것이 플랫폼과 AI 기업에게는 가장 비용이 적은 서사이기 때문입니다. 문제를 개인의 실패로 규정하면 설계한 쪽은 책임을 피할 수 있습니다. 수천 명의 행동 설계 전문가들이 구축한 시스템을 상대로 개인이 혼자 싸워서 이겨야 한다는 것, 이것은 처방이 아니라 책임 회피입니다.

그러나 개인 책임론을 해체하는 것이 개인이 실천하는 것을 무의미하게 만들지는 않습니다. 개인 실천은 분명 가치 있습니다. 그러나 판 자체를 바꾸지 않으면 그 실천은 늘 한계에 부딪힙니다. 이 둘의 교차점을 설계하는 것이 이 장의 목표입니다.

설계의 증거 - 스마트폰 플랫폼 편

2025년부터 2026년까지 캘리포니아 법원에서 진행된 메타(Meta) 소송 재판에서는 마크 저커버그가 직접 증언대에 섰습니다. 2026년 3월에는 K.G.M. v. Meta 사건에서 배심원단이 메타(70%)와 구글(30%)의 과실을 인정하며 600만 달러 배상 평결을 내렸습니다. 2026년 3월 기준 2,407건 이상의 연방 다수 소송(MDL)이 진행 중이며 여기에 수백 개의 가족과 학군도 참여했습니다. 재판에 제출된 내부 문건들에는 구체적인 내용이 담겨 있었습니다. 십대 이용자 유지를 위한 전략, 자사 연구에서 확인된 부정적 영향의 비공개 등입니다. 내부 조사에서 인스타그램을 쓴 십대 소녀 세 명 중 한 명이 자신의 외모에 대해 더 부정적으로 느낀다는 결과가 나왔지만 메타는 이 결과를 외부에 공개하지 않았습니다.

이 증거들은 스마트폰 플랫폼이 이용자의 건강보다 참여를 더 중요하게 여겼다는 것을 법정에서 입증했습니다.

설계의 증거 - AI 편

AI의 경우 법정 수준의 내부 문건 폭로는 아직 이루어지지 않았습니다. 그러나 설계의 방향성을 보여주는 간접 증거들은 쌓이고 있습니다.

첫째, 참여를 극대화하려는 노력이 여전히 남아 있습니다. 챗지피티가 답변 끝에 "이것도 궁금하시면 물어보세요"라고 후속 질문을 제안하는 것, 클로드가 "더 도와드릴 것이 있으신가요?"라고 대화 연장을 유도하는 것, 제미나이가 관련 주제를 자동으로 추천하는 것. 이것들은 이용자 경험 개선과 대화 연장 사이에서 이중적 기능을 합니다. 이용자에게 도움이 되는 동시에, 체류 시간을 늘려 플랫폼의 지표를 높입니다. 물론 AI 기업들은 이를 이용자 편의 기능으로 설명합니다.

둘째, 생각을 점점 더 AI에 맡기게 되는 구조입니다. AI 시스템은 사용할수록 더 잘 작동합니다. 개인화된 맥락을 축적하고 사용 패턴을 학습하며 점점 더 정확한 답을 제공합니다. 이것은 기술적 장점인 동시에,한 번 쓰기 시작하면 떠나기 어렵게 만드는 장치입니다. 3년간 쌓인 챗지피티 대화 기록과 맥락은 다른 AI로 전환하기 어렵게 만듭니다. 8장에서 다룬 플랫폼 종속(lock-in) 효과입니다.

셋째, 할루시네이션에 제대로 대응하지 않는 구조입니다. AI가 사실이 아닌 것을 자신 있게 말하는 할루시네이션 현상은 모든 대형 AI 시스템에서 발생합니다. AI 기업들은 이를 줄이기 위해 노력한다고 공언하지만 동시에 할루시네이션이 얼마나 자주, 어떤 유형으로 발생하는지 구체적인 수치를 외부에 공개하지 않습니다. 이용자가 AI 답변 중 어느 부분이 사실이고 어느 부분이 추론인지 구분할 수 있는 도구도 아직 기준이 없습니다.

기울어진 싸움의 구조 - opt-out의 한계

스마트폰과 AI 모두에서 개인이 보호 기능을 찾아서 켜는 구조 자체가 문제입니다.

광고 추적 거부(opt-out) 도구들이 실제로 효과가 있는지 살펴본 FTC 연구에 따르면, 브라우저의 "Do Not Track(추적 금지)" 옵션은 대부분의 플랫폼에서 사실상 무시됐습니다. 개인이 알림을 끄면 플랫폼은 더 정교한 재참여 메커니즘으로 대응합니다. AI 기반의 최적 타이밍 분석, 교차 채널(cross-channel) 재활성화, 이탈 직전 이용자를 포착하는 행동 신호 감지. 이것은 군비경쟁(arms race)입니다.

워싱턴 대학교 연구팀이 ACM CHI 2024에서 발표한 틱톡 사용 패턴 연구에서 신규 이용자의 하루 평균 사용 시간은 첫 날 약 29분에서 120일 후 약 50분으로 증가했습니다. 같은 연구는 틱톡이 2022년부터 웰빙 알림(wellbeing reminder) 기능을 도입했지만 이 기능은 이용자가 직접 켜야만 작동한다고 지적했습니다.

일반 알림은 플랫폼이 이용자를 다시 끌어들이려고 보내는 것입니다. 새 영상이 올라왔어요, 친구가 좋아요를 눌렀어요 같은 것들입니다. 앱을 떠나려는 이용자를 붙잡는 장치입니다. 웰빙 알림은 반대입니다. "오늘 2시간째 보고 있어요, 잠깐 쉬는 건 어때요?" 같은 식으로 이용자 스스로 사용량을 점검하게 돕는 알림입니다. 플랫폼이 아니라 이용자 편에 서는 알림이라고 볼 수 있습니다.

문제는 이걸 이용자가 직접 찾아서 켜야 한다는 겁니다. 기본값이 꺼진 상태이니, 대부분은 이런 기능이 있는지조차 모릅니다. 연구자들은 이 웰빙 기능이 기본값(default)으로 설정돼야 한다고 권고했습니다.

AI 시스템에서도 같은 구조가 작동합니다. 챗지피티의 대화 기록 훈련 활용을 거부하려면 이용자가 설정 메뉴를 찾아서 직접 꺼야 합니다. AI 답변의 신뢰도 지표나 출처 표시를 강화하는 옵션은 이용자가 요청해야만 활성화됩니다. 보호 기능을 스스로 찾아서 켜야 하는 구조 자체가 이미 기울어져 있습니다.

교차점의 설계 - 개인과 구조가 만나는 곳

절망도, 체념도 답이 아닙니다. 주의와 사고의 주권은 혼자서 되찾을 수 없습니다. 개인이 할 수 있는 것과 구조가 해야 하는 것 서로 만나야 해결할 수 있습니다.

개인이 할 수 있는 것의 핵심은 알림, 추천, AI 답변과의 관계를 수동적 수용에서 능동적 설계로 전환하는 것입니다.

스마트폰에서는 푸시 알림(push notification, 앱이 먼저 보내는 알림)을 끄고 자신이 원하는 시간에 풀(pull, 자기가 직접 확인하는) 방식으로 정보를 수집하는 것. 추천 피드 대신 직접 구독한 채널만 보는 것을 권합니다.

AI에서는 AI가 먼저 제안하는 것을 따라가는 대신 자신의 질문을 먼저 구성합니다. AI 답변을 바로 수용하는 대신 검증 절차를 거쳐야겠지요. 7장에서 제안한 30초 규칙과 초안 먼저 원칙이 여기에 해당합니다.

이 선택들은 작지만 방향이 있습니다. 플랫폼이 나를 위해 선택한다 / AI가 나를 위해 생각한다 에서 내가 플랫폼에서 선택한다 / 내가 AI와 함께 생각한다로 바꾸는 방향입니다.

재설계는 가능하다 - 다른 알고리즘, 다른 AI의 증거

개인 책임론도, 규제 만능론도 아닌 제3의 길이 있습니다. 최근 연구들은 알고리즘이 다르게 설계될 수 있다는 것을 실증적으로 보여줍니다. Guess et al.(2023)과 Nyhan et al.(2023)의 연구에서 페이스북과 인스타그램의 알고리즘을 변경했을 때, 편을 가르는 콘텐트 노출이 줄고 체류 시간도 실제로 줄었습니다. 마스토돈(Mastodon) 같은 오픈소스 플랫폼은 추천 알고리즘 없이 역시간순 피드를 기본값으로 운영합니다.

AI에서도 다른 설계가 가능합니다. AI 답변에 신뢰도 등급을 표시하는 시스템, 할루시네이션이 일어나기 쉬운 영역을 미리 경고하는 시스템, 이용자가 AI에 지나치게 의존하고 있을 때 "이 부분은 직접 판단해보시는 것을 권합니다"라고 알려주는 시스템 같은 것들은 기술적으로 지금 당장 만들 수 있습니다. 일부 AI 시스템은 이미 답변의 출처를 표시하거나 확실하지 않은 부분을 밝히는 기능을 도입하고 있습니다.

알고리즘도 AI도 다른 방향으로 설계할 수 있습니다. 지금의 알고리즘이 참여를 극대화하는 쪽으로 선택된 것이라면, 다른 목표를 위한 다른 알고리즘도 선택할 수 있습니다. 지금의 AI가 이용자가 많이 쓰도록 설계된 것이라면 이용자가 스스로 생각하는 힘을 키우는 방향으로 다시 만들 수도 있습니다. 이것은 기술적으로 가능한 대안이 존재한다는 증거입니다.

제도는 이미 움직이고 있습니다

EU 디지털서비스법(DSA, Digital Services Act)은 개인 선택권을 구조적으로 보장하는 방향으로 설계됐습니다. 2024년 2월 전면 시행된 DSA는 월 4,500만 명 이상의 EU 이용자를 보유한 대형 플랫폼들에게 비개인화 피드(non-personalized feed, 알고리즘 추천 없이 시간순으로 정렬된 피드) 옵션을 반드시 제공하게 했습니다. 틱톡은 EU의 중독을 일으키는 설계 의혹 조사가 착수되자 자사 보상 프로그램을 자진 철회했습니다. 규제가 작동하면 플랫폼도 움직입니다.

그러나 DSA도 완전하지 않습니다. ITIF가 2025년 발표한 분석에 따르면, DSA 데이터베이스에 등록된 콘텐트 제거 결정의 약 90%가 '서비스 범위'라는 모호한 카테고리로 분류됐습니다. 공개하도록 했지만 그게 실제로 확인할 수 있는 수준인지는 여전히 논쟁 중입니다. 제도는 시작됐지만 완성되지 않았습니다.

AI에 대한 제도 대응은 스마트폰 플랫폼보다 더 초기 단계입니다. EU AI Act(유럽연합 AI 법)가 2026년 8월 2일 전면 시행을 앞두고 있고 한국 AI 기본법은 2026년 1월에 시행됐습니다. 이 제도들이 AI가 이용자의 주의와 사고를 포획하는 방식을 직접 규율하는지 아니면 안전성과 공개 수준의 일반 원칙에 머무르는지는 11장과 12장에서 본격적으로 다룹니다.

주권의 조건 - 세 측면의 교차

이 장을 마치면서 세 가지 측면을 분리해서 생각해봅시다.

첫 번째 측면은 개인 설계입니다. 내가 쓰는 도구를 내가 통제하는 방식으로 환경을 직접 짜는 것입니다. 7장에서 다룬 공간 분리와 시간 구조화 8장에서 다룬 다층적 파트너십 그리고 이 장에서 다룬 알림, 추천, AI 답변을 능동적으로 재구성하는 것. 스마트폰에서는 푸시를 풀로, 추천을 선택으로 하고 AI에서는 수용을 검증으로, 위임을 협업으로 해야 합니다. 이것들이 기울어진 싸움에서 승리를 보장하지는 않지만 수동적으로 받아들이던 것을 능동적으로 설계하는 것만은 틀림없습니다.

두 번째 측면은 플랫폼과 AI 기업의 책임입니다. 알고리즘과 AI 시스템이 이용자 복지와 기업 수익 사이에서 후자를 선택해온 것은 시장 실패입니다. 비개인화 피드 옵션, 웰빙 기능의 기본값 설정, 중독을 일으키는 설계 방식 제거, AI 답변의 신뢰도 표시 의무화, 할루시네이션 빈도 공개. 이것들은 기술적으로 가능하고 이미 일부 플랫폼에서 규제 덕분으로 이미 실현하고 있습니다.

세 번째 측면은 제도의 설계입니다. DSA는 시작이지 완성이 아닙니다. 알고리즘을 실제로 확인할 수 있게 공개하는 것, 중독을 일으키는 설계 방식에 대한 구체적 기준, AI에 생각을 맡겼을 때 어떤 영향이 생기는지 평가하는 것, 이용자 데이터 주권의 법적 확립이 하나씩 만들어지고 있습니다. 한국에서도 이 논의는 피할 수 없습니다. 지금은 방송통신위원회가 플랫폼 콘텐트를 개인정보보호위원회가 데이터를 각각 나눠서 규율합니다. 그러나 알고리즘과 AI가 이용자의 주의와 사고를 어떻게 설계하는가의 문제는 어느 기관도 정면으로 다루지 않고 있습니다.

주의와 사고의 주권은 선언으로 회복되지 않습니다. 이 세 측면이 동시에 작동할 때, 개인 실천이 구조의 지원을 받고 구조가 개인 선택을 실제로 가능하게 만들 때 비로소 주권은 실체를 갖습니다.

다음 장에서는 이 구조적 설계의 마지막 퍼즐인 맥락별 전략으로 넘어갑니다. 일할 때, 쉴 때, 관계 맺을 때 같은 도구라도 어떻게 쓰느냐에 따라 나를 키우기도 하고 나를 잡아먹기도 합니다. / raylogue

FAQ

알림과 추천 알고리즘은 왜 내 주의를 빼앗도록 설계됐나요?
플랫폼 수익이 이용자의 체류 시간과 직결되기 때문입니다. 페이스북 내부 문건이 밝혔듯 분노나 슬픔 같은 강한 감정 반응을 유발하는 콘텐트일수록 더 많이 노출되도록 알고리즘이 설계됐습니다. 이용자의 주의가 아니라 플랫폼의 수익을 위한 설계입니다.

AI도 스마트폰 플랫폼처럼 중독을 유도하도록 설계됐나요?
내부 문건이 공개된 스마트폰 플랫폼과 달리 AI에 대한 법정 수준의 폭로는 아직 없습니다. 다만 후속 질문 제안, 대화 연장 유도, 사용할수록 이탈이 어려워지는 구조 등 간접 증거는 쌓이고 있습니다. AI 기업들은 이를 이용자 편의 기능으로 설명합니다.

개인이 알림을 끄고 앱을 지우는 것만으로는 왜 부족한가요?
개인이 보호 기능을 켜면 플랫폼은 더 정교한 재참여 방식으로 대응합니다. AI 기반 최적 타이밍 분석, 교차 채널 재활성화 등이 그 예입니다. 개인의 노력과 구조 변화가 함께 이뤄지지 않으면, 개인은 그 설계와 끝없이 싸워야 합니다.

EU 디지털서비스법(DSA)은 알고리즘 문제를 실질적으로 해결했나요?
부분적으로는 그렇습니다. DSA는 대형 플랫폼에 알고리즘 추천 없는 비개인화 피드 옵션을 의무화했고, 틱톡은 조사 착수 직후 보상 프로그램을 철회했습니다. 그러나 ITIF의 2025년 분석에 따르면 DSA 데이터베이스에 등록된 콘텐트 제거 결정의 약 90%가 모호한 카테고리로 분류돼, 실질적 검증 가능성은 여전히 논쟁 중입니다.

주의와 사고의 주권을 되찾으려면 무엇이 필요한가요?
세 가지가 함께 움직여야 합니다. 개인은 알림을 끄고, AI 답변을 검증하는 능동적 환경을 직접 설계해야 합니다. 플랫폼과 AI 기업은 웰빙 기능을 기본값으로 설정하고 할루시네이션 빈도를 공개해야 합니다. 제도는 알고리즘 투명성과 중독을 일으키는 설계 방식에 구체적 기준을 마련해야 합니다. 이 세 가지가 교차하는 지점에서만 주권은 실체를 갖습니다.