[마음의 확장 11] 정보 비대칭, 외부 효과, 네트워크 효과: 플랫폼의 세 가지 실패

10장을 닫으면서 우리는 개인이 맥락을 설계할 수 있다고 했습니다. 그러나 동시에 한계를 인정했습니다. 경계가 소멸한 자리를 의식이 채워야 한다는 것은 진실이지만, 의식이 싸워야 할 상대의 규모를 직시하지 않으면 그것은 처방이 아니라 위로에 그칩니다. 수천 명의 행동 설계 전문가들이 수십억 달러를 투입해 구축한 참여 극대화 시스템을, 수백 명의 AI 연구자들이 만들어낸 인지 위탁 시스템을, 개인의 의도와 습관만으로 온전히 상대할 수는 없습니다. 이 비대칭이 4부의 출발점입니다.

4부는 개인 차원의 합의를 구조적 차원으로 끌어올립니다. 인지 주권은 개인의 선언으로 완성되지 않습니다. 그것은 개인의 실천이 구조의 지원을 받을 때, 기업이 다르게 설계할 때, 정책이 그 방향을 강제할 때 비로소 실질적 권리가 됩니다. 이 장은 그 구조의 첫 번째 축 — 기업의 책임 — 을 다룹니다.

시장은 왜 실패했습니까

기업이 이용자에게 해로운 설계를 계속 유지하는 것을 어떻게 설명할 수 있습니까? 가장 단순한 답은 "그것이 수익이 되기 때문"입니다. 그러나 이 답은 정확하지만 충분하지 않습니다. 기업이 이용자를 해치는 설계를 유지하는 것은 단순한 탐욕의 문제가 아니라, 시장의 구조적 실패의 결과입니다.

경제학에서 시장 실패(market failure)란 시장의 자율적 작동이 사회적으로 바람직한 결과를 만들어내지 못하는 상황을 뜻합니다. 스마트폰 플랫폼과 AI 생태계에는 시장 실패의 고전적 경로들이 거의 전부 작동하고 있습니다.

첫 번째는 정보 비대칭(information asymmetry)입니다. 플랫폼은 알고리즘이 이용자에게 어떤 영향을 미치는지 정확히 알지만, 이용자는 모릅니다. 9장에서 살펴본 프랜시스 하우겐 내부 문건이 이미 이 사실을 문서로 입증했습니다 — 플랫폼은 자사 설계가 이용자에게 미치는 부정적 영향을 알고 있었으면서도, 그 사실을 이용자에게 알리지 않았습니다. (원문 초안은 이 문장을 [추정]으로 표기했으나, 하우겐 문건이 이미 문서로 확인한 사실이므로 [사실]로 재분류합니다.)

AI의 경우, 정보 비대칭은 한 층 더 깊습니다. 스마트폰 앱의 알고리즘은 "무엇을 보여줄 것인가"를 결정합니다. AI는 "무엇을 말할 것인가"를 결정합니다. 챗지피타가 특정 질문에 특정 답을 생성하는 과정 — 어떤 훈련 데이터에 기반하는지, 어떤 가중치가 적용되는지, 어떤 답변이 억제(필터링)되는지 — 을 이용자는 전혀 알 수 없습니다. 자신이 무엇에 의해 어떻게 사고하게 되는지 알지 못하는 상태에서는, 합리적 선택이 원리적으로 불가능합니다.

두 번째는 부정적 외부 효과(negative externality)입니다. 알고리즘이 개인의 시간을 점유하는 비용, AI가 개인의 독자적 사고 능력을 약화시키는 비용은 이용자와 사회가 지불하지만, 그 비용은 플랫폼과 AI 기업의 대차대조표에 나타나지 않습니다. 청소년의 수면 감소, 직장인의 집중력 저하, AI 의존으로 인한 판단력 약화, 사회적 양극화 — 이것들은 실재하는 비용이지만 기업이 부담하지 않습니다.

세 번째는 자연 독점에 가까운 네트워크 효과입니다. 메타는 2026년 기준 페이스북·인스타그램·왓츠앱·메신저를 합쳐 월간 활성 이용자(Family MAP) 약 39억 8천만 명을 보유해 40억 명에 근접했습니다. 구글은 전 세계 검색 시장의 약 90%를 점유합니다. 이 규모에서는 경쟁이 사실상 작동하지 않습니다.

AI 시장에서도 유사한 집중이 나타나고 있지만, 그 지형은 스마트폰 플랫폼보다 훨씬 빠르게 흔들리고 있습니다. 시밀러웹(Similarweb) 집계 기준 챗지피티의 AI 챗봇 시장 점유율은 2025년 1월 87.2%에서 2026년 1월 68%로 떨어졌고, 2026년 5월에는 앱 기준 점유율이 46.4%까지 내려가 처음으로 50퍼센트 아래로 떨어졌습니다. 같은 기간 구글 제미나이(Gemini)는 27.9%까지 올라섰습니다(측정 기준에 따라 편차가 있습니다). 다만 이 하락은 전환 장벽이 절대적이지 않다는 것도 함께 보여줍니다. 그럼에도 이미 축적된 개인 대화 기록을 다른 서비스로 옮길 수 없다는 점에서, 개별 이용자 수준의 종속 효과는 시장 전체의 점유율 변동과 별개로 작동합니다. 8장에서 다룬 '플랫폼 종속(lock-in)' 효과가 AI에서도 이런 방식으로 작동하고 있습니다.

이 세 가지 시장 실패가 동시에 작동하는 구조에서, "소비자가 원하지 않으면 시장이 바로잡을 것"이라는 주장은 성립하지 않습니다. 시장이 실패했다는 것은 개인을 비난하는 것이 아니라, 개입의 정당성을 확립하는 것입니다.

책임은 어디서 시작합니까 — 설계 윤리의 계보

기업의 책임을 논할 때, 가장 쉬운 반론은 "이용자가 동의했다"는 것입니다. 이용 약관에 서명했고, 앱을 자발적으로 다운로드했으며, AI에게 스스로 질문을 던졌습니다. 이 반론은 법적으로는 일정 부분 유효하지만, 윤리적으로는 공허합니다.

9장에서 다룬 트리스탄 해리스(Tristan Harris)의 증언을 다시 가져옵시다. 전 구글 설계 윤리학자였던 해리스는 이 문제의 핵심을 설계(design)에서 찾았습니다. 해리스가 2013년 구글 내부에 배포한 슬라이드 <마음 납치를 멈춰라(A Call to Minimize Distraction & Respect Users' Attention)>는 처음엔 동료 10명에게 공유됐지만 이후 5,000명 규모로 퍼져 당시 CEO 래리 페이지(Larry Page)에게까지 도달했습니다. 그러나 근본적인 설계 변화로 이어지지는 않았습니다.

이 계보는 더 멀리 거슬러 올라갑니다. BJ 포그(BJ Fogg)는 스탠퍼드 대학교에서 '설득 기술(persuasive technology)', 즉 기술이 인간의 행동을 변화시키는 방법을 체계적으로 연구했습니다. 포그의 제자 중에는 인스타그램 공동창업자 케빈 시스트롬(Kevin Systrom)과 마이크 크리거(Mike Krieger)가 있으며, 이들 외에도 여러 제자가 실리콘밸리 소셜 미디어 기업의 핵심 엔지니어로 성장했습니다. 포그 본인은 나중에 이 기술들이 인간 복지보다 기업 수익을 위해 사용됐다며 우려를 표명했습니다.

AI의 설계 윤리는 이 계보의 최신 장(chapter)입니다. 설득 기술 자체는 중립적일 수 있습니다. 문제는 누구의 이익을 위해 누구의 행동을 변화시키도록 설계됐는가입니다. AI가 이용자의 질문에 최선의 답을 주려는 것과, AI가 이용자를 플랫폼에 더 오래 머물게 하려는 것은 동일한 기술적 원리를 사용하지만 윤리 측면에서는 전혀 다릅니다.

1장에서 다룬 오토의 노트를 떠올려봅시다. 오토는 자신의 목적을 위해 노트를 썼습니다. 그러나 현재의 스마트폰 알고리즘과 AI 시스템은 이용자의 목적과 플랫폼의 목적이 뒤엉켜 있는 설계입니다. 이용자는 자신이 원하는 것을 얻는다고 느끼지만, 동시에 플랫폼이 원하는 것도 수행하고 있습니다. 이 이중성이 설득 기술의 윤리적 핵심입니다.

윤리적 설계의 조건 — 무엇이 달라야 합니까

기업이 다르게 설계한다는 것은 구체적으로 무엇을 의미합니까? 추상적인 "윤리 경영"이나 "사회적 책임"이 아니라, 설계 수준에서 무엇이 달라야 합니까. 스마트폰 플랫폼과 AI 시스템 각각에 대해 세 가지 원칙이 있습니다.

첫 번째 원칙: 기본값(default)의 재설정

디자인 연구에서 반복적으로 확인된 사실이 있습니다. 사람들은 기본값을 바꾸는 데 강한 관성이 있습니다. 퇴직연금 자동 가입을 기본값으로 설정한 미국의 정책 실험에서 가입률은 극적으로 높아졌고, 장기 기증 동의를 기본값으로 한 국가들이 그렇지 않은 국가들보다 기증 비율이 압도적으로 높았습니다. 행동경제학에서 이것을 디폴트 효과(default effect)라고 부릅니다.

스마트폰 플랫폼에서 현재 기본값은 참여 극대화 방향으로 설정돼 있습니다. 알림은 모두 켜져 있고, 피드는 알고리즘 추천이며, 자동재생은 작동합니다. 이 기본값의 방향을 뒤집는 것 — 알림 최소화, 비개인화 피드, 자동재생 비활성화를 기본값으로 — 은 기술적으로 즉각 가능한 변화입니다.

AI 시스템에서 현재 기본값은 최대한 유창하고 자신감 있는 답변을 제공하는 방향으로 설정돼 있습니다. 이 기본값을 재설정한다면 — 불확실한 부분을 명시적으로 표시하는 것, 답변의 신뢰도 등급을 기본적으로 보여주는 것, 이용자가 특정 시간 이상 AI와 대화하면 "직접 생각해보시는 것도 좋겠습니다"라는 알림을 기본적으로 제공하는 것 — 이것들 역시 기술적으로 즉각 가능합니다.

두 번째 원칙: 다크 패턴(dark pattern)과 인지 포획 패턴의 제거

UX 연구자 해리 브링눌(Harry Brignull)이 2010년 처음 정의한 다크 패턴은 이용자를 의도하지 않은 행동으로 유도하는 인터페이스 설계를 말합니다. 구독 취소를 복잡하게 만드는 것, 쿠키 거부 버튼을 수락 버튼보다 작고 흐릿하게 배치하는 것 등이 여기 포함됩니다. EU DSA는 제25조에서 이러한 다크 패턴을 명시적으로 금지했습니다.

AI에서는 다크 패턴에 상응하는 '인지 포획 패턴(cognitive capture pattern)'이라고 부를 수 있는 설계들이 있습니다. AI가 답변의 불확실성을 감추고 자신감 있게 말하는 것(할루시네이션의 구조적 원인), AI가 이용자의 독자적 사고를 유도하는 대신 즉각적 답변을 제공하여 인지 오프로딩을 심화시키는 것, AI가 이용자의 기존 관점을 확인해주는 방향으로 답변을 조정하는 것(확증 편향 강화) — 이것들은 의도적 설계인지 최적화의 부작용인지 논쟁이 있지만, 결과적으로 이용자의 인지적 자율성을 약화시킵니다.

세 번째 원칙: 투명성의 실질화

"알고리즘의 작동 방식을 공개한다", "AI의 한계를 이용자에게 알린다"는 것이 현재 많은 기업의 공식 입장입니다. 그러나 9장에서 확인한 것처럼, 투명성 의무화가 실질적 검증으로 이어지지 않으면 그것은 공개가 아니라 면피입니다.

스마트폰 플랫폼에서 연구자들이 알고리즘의 실제 영향을 독립적으로 검증할 수 있는 데이터 접근권이 필요합니다.

AI 시스템에서는 투명성을 더 높게 요구해야 합니다. AI가 특정 답변을 생성한 근거, 할루시네이션 발생 빈도와 유형, 훈련 데이터의 출처와 편향(bias), 이용자 데이터의 활용 범위 — 이것들이 독립적으로 검증 가능한 형태로 공개되어야 합니다. 현재 대형 AI 기업들은 모델의 성능 벤치마크(성능 평가 기준)는 공개하지만, 할루시네이션 빈도나 이용자 데이터 활용의 구체적 범위에 대해서는 충분한 투명성을 제공하지 않고 있습니다.

자발적 변화는 가능합니까 — 증거와 한계

기업이 윤리적 설계로 자발적으로 전환할 수 있습니까? 이 질문에 대한 답은 조심스럽게 낙관적입니다.

낙관의 근거가 있습니다. 애플은 2018년 iOS 12에서 스크린 타임(Screen Time) 기능을 도입하며, 자사 플랫폼 내 사용 시간 제한 도구를 제공했습니다. 구글은 같은 해 안드로이드 9 파이(Pie)에 디지털 웰빙(Digital Wellbeing) 기능을 내장했습니다. 틱톡은 2023년에 18세 미만 이용자에게 60분 사용 제한을 기본값으로 설정했습니다.

AI 기업들도 일부 자발적 조치를 취하고 있습니다. 오픈AI는 챗지피티의 안전 보고서를 정기적으로 발간하고, 앤트로픽(Anthropic)은 AI 안전 연구를 핵심 사업 방향으로 제시하며, 구글 딥마인드(DeepMind)는 AI 윤리 원칙을 공개적으로 선언했습니다. 이 조치들이 근본적인 설계 문제를 해결하지 않는다는 비판은 유효하지만, 이용자 복지를 마케팅 포인트로 삼기 시작했다는 것은 적어도 시장의 방향이 바뀌고 있다는 신호입니다.

그러나 회의론의 근거도 있습니다. 규제 포획(regulatory capture, 규제 대상 기업이 로비를 통해 규제를 자신에게 유리하게 조정하는 현상)의 위험은 현실적입니다. 자발적 개선이라고 발표된 것들이 실제로는 더 강력한 규제를 방어하기 위한 전략적 양보인 경우가 많습니다. 스크린 타임 기능이 알고리즘의 근본적 설계를 바꾸지 않는 것처럼, AI 안전 보고서가 비즈니스 모델의 근본적 방향을 바꾸지 않을 수 있습니다.

결국 자발적 변화와 구조적 규제는 대립하는 선택지가 아닙니다. 기업이 자발적으로 더 나은 설계를 채택할 인센티브(incentive, 유인)를 만드는 것이 정책의 역할이고, 그 인센티브 구조 안에서 기업이 경쟁적으로 윤리적 설계를 개선하는 것이 시장이 올바르게 작동하는 모습입니다.

글로벌 컴플라이언스 현실 — EU AI Act와 한국 AI 기본법

기업의 자발적 변화와 구조적 규제의 필요성을 논하면서 피할 수 없는 현실이 있습니다. 2026년 8월 2일, EU AI Act(유럽연합 AI 법)의 고위험 AI 시스템 관련 의무가 전면 집행됩니다. 이 시점부터 시장감독당국은 비준수 시스템을 조사·제재하고 시장 철수를 명령할 법적 권한을 갖습니다. 이 시점은 단순한 법률 일정이 아니라, 글로벌 AI 규제 지형의 분수령입니다.

한국 AI 기본법은 이보다 앞서 2026년 1월 22일 시행됐습니다. 그러나 두 법이 같은 시간표 위에 있는 것은 아닙니다. 한국은 계도기간을 운영하고 있어 법 위반에 대한 실질적인 사실조사와 과태료 부과는 빨라도 2027년 이후로 미뤄져 있습니다. 반면 EU는 2026년 8월 2일부터 조사·제재 권한이 즉시 발동됩니다. 처벌 수위 차이 — 한국의 과태료 최대 3천만 원 대 EU의 전 세계 매출 7%(최대 3,500만 유로 중 높은 금액) — 는 단순한 수치가 아니라 설계 철학의 차이를 반영하며, 시행일의 형식적 도래와 실질적 집행력 사이의 간극 자체가 그 차이를 한 번 더 보여줍니다.

EU AI Act와 한국 AI 기본법의 구조적 차이는 12장에서 본격적으로 다룹니다. 이 차이가 기업의 설계 선택에 어떤 영향을 미치는지는 12장의 핵심 논의입니다.

기업 책임의 실천적 기준 — 세 가지 질문

이 장을 마치면서 기업의 책임을 평가하는 실천적 기준을 제안합니다. 이 질문들은 스마트폰 플랫폼과 AI 기업 모두에 적용됩니다.

첫 번째 질문: 이 설계는 누구의 이익을 위해 최적화되어 있습니까. 플랫폼의 체류 시간 증가를 위해서입니까, 이용자의 목표 달성을 위해서입니까? AI의 활발한 이용을 위해서입니까, 이용자의 인지적 자율성을 위해서입니까? 이 질문에 대한 답이 내부 문건과 공식 발표 사이에서 다르다면, 그 차이 자체가 책임의 소재를 가리킵니다.

두 번째 질문: 이용자가 실질적으로 선택할 수 있습니까. 이론적 선택권이 아니라 실질적 선택권입니다. 보호 기능을 찾아서 활성화하는 데 얼마나 많은 단계가 필요합니까? 대안 플랫폼이나 다른 AI로 이동할 때 데이터를 이전할 수 있습니까? AI 답변의 신뢰도를 확인할 수 있는 도구가 기본적으로 제공됩니까?

세 번째 질문: 기업은 영향을 알고 있습니까, 그리고 그 앎을 공유합니까. 내부 연구가 부정적 영향을 확인했을 때, 그 결과가 설계 변경으로 이어졌습니까? AI의 할루시네이션 빈도, 인지 오프로딩 효과, 이용자 의존도 변화에 대한 데이터를 외부 연구자들이 독립적으로 검증할 수 있도록 허용합니까? [사실] 페이스북 논문(Facebook Papers) 사태가 보여준 것은 기업이 알고 있었다는 것입니다. 알고 있으면서 공유하지 않고 변화하지 않는 것, 이것이 책임의 핵심입니다.

이 세 가지 질문에 투명하게 답할 수 있는 기업과 그렇지 않은 기업 사이의 거리는, 단순한 기업 윤리의 문제가 아닙니다. 그것은 수십억 명의 인지 환경을 누가 어떻게 설계하는가의 문제입니다. 인지 주권은 이 설계 권력에 대한 물음에서 시작합니다.

다음 장에서는 기업의 자율에 맡겨두기 어려운 이 권력이 왜 정책과 법의 영역으로 넘어와야 하는지를 다룹니다. 제도는 늦지만, 방향이 맞으면 구조를 바꿉니다. / raylogue

FAQ

시장 실패란 무엇이고, 왜 스마트폰과 AI 설계에 적용됩니까? 시장 실패는 시장의 자율적 작동이 사회적으로 바람직한 결과를 만들어내지 못하는 상황을 뜻하는 경제학 개념입니다. 스마트폰 플랫폼과 AI 생태계에는 정보 비대칭, 부정적 외부 효과, 네트워크 효과라는 세 가지 고전적 경로가 동시에 작동하고 있어, 기업이 유해한 설계를 유지하는 것을 단순한 탐욕이 아니라 구조적 실패로 설명할 수 있습니다.

정보 비대칭은 스마트폰 알고리즘과 AI에서 어떻게 다르게 나타납니까? 스마트폰 앱의 알고리즘은 "무엇을 보여줄 것인가"를 결정하지만, AI는 "무엇을 말할 것인가"를 결정합니다. AI가 어떤 훈련 데이터와 가중치로 답을 생성하는지, 어떤 답변이 걸러지는지는 이용자에게 완전히 불투명해서, 정보 비대칭의 깊이가 스마트폰 시대보다 한 층 더 깊어집니다.

다크 패턴과 AI의 '인지 포획 패턴'은 같은 것입니까? 다크 패턴은 2010년 해리 브링눌이 정의한 개념으로, 구독 취소를 복잡하게 만드는 것처럼 이용자를 의도하지 않은 행동으로 유도하는 인터페이스 설계를 가리키며 EU DSA가 명시적으로 금지하고 있습니다. AI의 인지 포획 패턴은 아직 법적으로 정의되지 않은 개념으로, 할루시네이션을 감추는 자신감 있는 답변이나 즉각적 답변으로 사고를 대신하는 설계처럼 결과적으로 이용자의 인지적 자율성을 약화시키는 패턴을 가리킵니다.

애플의 스크린 타임이나 오픈AI의 안전 보고서 같은 자발적 조치는 문제를 해결했습니까? 근본적인 설계 문제를 해결했다고 보기는 어렵습니다. 스크린 타임 기능이 알고리즘 자체의 참여 극대화 설계를 바꾸지 않는 것처럼, AI 안전 보고서도 비즈니스 모델의 방향을 바꾸지는 않습니다. 다만 이용자 복지가 마케팅 포인트가 되기 시작했다는 것은 시장의 방향이 조금씩 움직이고 있다는 신호이며, 자발적 변화와 구조적 규제는 대립하는 선택지가 아니라 서로를 보완합니다.

한국 AI 기본법과 EU AI Act의 처벌 수위 차이는 무엇을 의미합니까? 한국의 과태료는 최대 3천만 원이고, EU AI Act는 위반 시 전 세계 매출의 7% 또는 최대 3,500만 유로 중 높은 금액을 부과합니다. 게다가 한국은 계도기간으로 실질적 과태료 부과가 2027년 이후로 미뤄져 있는 반면, EU는 2026년 8월 2일부터 조사·제재 권한이 즉시 발동됩니다. 이 격차는 단순한 수치 차이가 아니라, 두 지역이 기업 설계 행위를 얼마나 심각하게 다루는지에 대한 철학의 차이를 보여줍니다.