AI는 신이 되지 않는다: '사고의 사회'가 증명한 것

레이 | 디지털 저널리스트 | awesome.ai.life@gmail.com | 2026년 4월 3일

2026년 3월, <사이언스(Science)>에 논문 한 편이 실렸다. 저자는 시카고대 사회학자이자 구글 Paradigms of Intelligence 팀 소속 연구원 제임스 에번스(James Evans), Antikythera(베르그루엔 연구소) 및 UC 샌디에이고 소속 기술철학자 벤저민 브래튼(Benjamin Bratton), 구글 Paradigms of Intelligence 팀 연구원이자 VP, Fellow인 블레이즈 아게라 이 아르카스(Blaise Agüera y Arcas). 쉽게 말해 사회학, 기술철학, AI를 연구하는 세 사람이 함께 주장했다는 말이다. 게다가 셋이 함께 던진 주장은 간결했다.

"단일한 초지능은 오지 않는다."

특이점(Singularity) 신앙이 실리콘밸리를 지배한 지 20년이 넘었다. 레이 커즈와일(Ray Kurzweil)이 설파한 그 미래상, 하나의 AI가 스스로를 재설계하며 신과 같은 지능으로 도약한다는 이야기는 기술 산업의 묵시록처럼 여겨져왔다. 커즈와일은 저서 The Singularity Is Near(Viking, 2005)에서 이 전망을 체계적으로 정리했고 이 예측은 AI 안전론과 AI 가속론 양쪽 모두의 논거로 오랫동안 사용됐다. 그런데 에번스 연구팀은 바로 그 전제를 건드렸다. 지능의 본질에 대한 오해가 특이점 시나리오 전체를 틀리게 만들었다고.

그렇다면 지능의 본질은 무엇인가.

사고의 사회: AI가 스스로 발견한 것

연구팀은 딥시크-R1(DeepSeek-R1)과 QwQ-32B 같은 최신 추론 모델을 분석했다. 이 모델들은 강화학습(reinforcement learning)을 통해 추론 정확도를 높이도록 훈련된 최전선 추론 모델이다. 강화학습은 정답에 가까우면 보상, 틀리면 벌점을 주며 행동/답변을 더 잘하게 만드는 훈련 방식이다. 개발자들은 이 모델들에게 '사회적 토론 구조를 만들라'고 지시한 적이 없다. 그저 틀리면 벌점, 맞으면 보상을 줬을 뿐이다.

그런데 이 모델들의 사고 과정(chain of thought)을 들여다보니 이상한 일이 벌어지고 있었다. 모델은 어려운 문제를 풀 때 단일한 목소리로 추론하지 않았다. 마치 여러 사람이 회의하듯 여러 관점이 번갈아 등장해 서로 따지고 확인하는 형태로 추론했다. 내부에서 서로 다른 인지적 관점들이 생성됐고 그것들이 서로 논증하고(argue) 질문하고(question) 교차 검증하고(verify) 이견을 조율했다(reconcile). 연구팀은 이 현상을 '사고의 사회(society of thought)'라고 명명했는데 이 개념은 에번스 팀의 선행 연구인 Kim et al., "Reasoning Models Generate Societies of Thought"(arXiv:2601.10825, 2026)에서 먼저 제시됐고 이번 사이언스 논문이 이를 확장, 적용한 것이다.

연구팀은 이 다자간 대화 구조를 일부러 그런 토론이 나오게 만들고 더 강하게 했을 때 어려운 추론 과제에서 AI의 정확도가 유의미하게 상승함을 입증했다. 단순히 연산 시간을 늘리는 것, 그러니까 더 오래 생각하게 하는 것과는 다른 효과였다. 핵심은 시간이 아니라 구조였다. 관점들이 충돌하고 조율되는 그 과정 자체가 오류를 줄이는 인과적 요인이었다.

이것은 무엇을 의미하는가.

인간의 지능도 마찬가지다. 단일한 뇌 안에서도 인간은 혼자 생각하지 않는다. 한 관점이 다른 관점에 반론을 제기하고 가정을 의심하고 대안을 검토한다. 소크라테스가 대화를 진리 탐구의 방법으로 삼은 것은 우연이 아니었다. 견고한 추론은 본질적으로 사회적 과정이라는 명제를 AI가 훈련 과정에서 스스로 재발견했다는 사실이 이 연구의 핵심이다. 인간이 설계하지 않았는데 저절로 생겨났다는 점에서.

문제가 복잡해질수록 이 구조는 되풀이되며 점점 커진다. 하위의 '사고의 사회'가 파생되고, 그 안에서 또 다른 토론 구조가 작동한다. 이 과정에서 발생하는 의견 충돌은 버그가 아니라 문제 해결의 자원이 된다.

켄타우로스: 이미 시작된 혼합

사고의 사회는 AI 내부에서만 벌어지는 일이 아니다. 그것은 AI와 인간 사이에서도 작동하기 시작했다. 연구팀은 이 혼합 형태를 켄타우로스(Centaur)라고 불렀다. 신화 속 반인반마처럼 순수한 인간도 기계도 아닌 복합 행위자(composite actors)다. 쉽게 말해 켄타우로스는 인간 단독도 AI 단독도 아니라, 인간+여러 AI 도구/에이전트가 한 묶음처럼 일하는 팀 단위를 뜻한다. 복합 행위자는 그 팀 단위를 하나의 행동 주체처럼 본다는 뜻이다.

논문은 오픈소스 플랫폼 오픈클로(OpenClaw)와 에이전트 소셜 네트워크 몰트북(Moltbook)을 이 시대의 초기 징후(embryonic glimpses)로 제시한다. 아직 태동기의 사례들이지만 에이전트들이 스스로 복제와 분업을 통해 상호작용하는 구도가 이미 출현하고 있다는 것이다. 한 명의 인간이 수십 개의 AI를 지휘하거나 하나의 AI가 수천 명의 인간에게 동시에 서비스하거나 인간과 AI가 역할을 교환하며 협력하는 다양한 구도들이다.

켄타우로스 업무 방식은 이미 지식 전문직의 지형을 실질적으로 재편하고 있다. 법률 리서치, 의학 진단 보조, 저널리즘 팩트체크, 코드 작성과 같은 분야에서 순수한 인간의 작업과 AI가 보조한 인간의 작업을 구분하는 것은 점점 의미를 잃어가고 있다. 이것이 위협인지 확장인지는 아직 열린 질문이다. 그러나 이미 일어나고 있다는 것은 사실이다.

이 논문의 저자 중 한 명인 아르카스는 구글의 현직 VP, Fellow이자 Paradigms of Intelligence 팀 창립자다. 더 강력한 AI로 가는 길이 단일 모델 확장이 아니라 에이전트 생태계 구축이라는 주장은 바로 그 생태계 구축에 막대한 이해관계를 가진 구글 내부에서 나온 것이다. 이 이해관계 만으로 논문의 논거가 곧장 무효가 되는 것은 아니다. 그러나 독자는 이 맥락을 알고 읽을 권리가 있다.

헌법의 문제: 누가 권력을 견제하는가

수십억 명의 인간과 수조 개의 AI 에이전트가 교류하는 생태계가 도래한다면, 그것을 어떻게 통제할 것인가. 연구팀이 이 질문에 내놓은 답은 기술적 해법이 아니었다. 제도의 문제였다.

연구팀은 개별 에이전트의 연산 능력을 제어하는 수준을 넘어 인간 사회의 법정, 시장, 관료제처럼 역할과 규범으로 정의된 제도적 틀(agent institutions)을 디지털 세계에 구축해야 한다고 주장했다. 제도적 틀이란 에이전트(사람, AI, 둘 다)가 마음대로 움직이게 두지 않고 역할, 권한, 절차, 감사 같은 규칙으로 묶어 두는 장치를 말한다. 예컨대 채용, 판결, 복지 할당, 규제 집행처럼 사회의 중대한 결정에 AI가 투입되는 상황에서 그 AI를 감시하는 또 다른 AI가 필요하다는 것이다. 이 개념은 엘리너 오스트롬(Elinor Ostrom)의 Governing the Commons(Cambridge, 1990)와 더글러스 노스(Douglass North)의 제도 경제학에서 이론적 뿌리를 두고 있으며, 논문은 이 두 저작을 명시적으로 인용한다. 그러니까 현실 세계의 법원, 시장, 규제기관과 같은 제도를 디지털 세계에도 만들자는 주장이다.

이 구도가 낯익은 이유는 명백하다. 미국 건국의 아버지들이 설계한 권력 분립의 원리다. 제임스 매디슨(James Madison)은 <연방주의자 논문집>(1788) 51편에서 이렇게 썼다. "야망이 야망을 견제해야 한다(Ambition must be made to counteract ambition)." 에번스 연구팀은 이 원칙을 AI 거버넌스에 적용하며 "권력이 권력을 견제해야 한다(Power must check power)"고 재해석했다. 논문은 구체적 예시로 노동부 AI가 기업의 채용 알고리즘을 차별적 영향 여부로 감사하고 사법부 AI가 행정부 AI의 위험 평가가 헌법적 기준을 충족하는지 검토하는 구조를 제시했다.

이 주장이 타당한지는 별도로 검토해야 한다. 공정성을 부여받은 정부 AI라는 전제 자체가 이미 정치적 선택을 함축한다. 어느 정부가 그 AI를 설계하고, 어떤 가치와 절차(권한, 책임, 견제 장치)를 ‘규칙’으로 박아 넣을 것인가. 이런 ‘헌법적 제도 설계’는 기술 구현이 아니라 권력의 배분과 통제를 정하는 문제다. 연구팀의 제안은 방향은 옳지만 그 구체적 실행 경로는 훨씬 험난한 지형 위에 있다.

특이점 공포에서 설계의 문제로

연구팀은 논문 결론에서 명확하게 선을 그었다. 존재하지 않을 단일한 초지능에 대한 두려움을 근거로 허구적 정책에 매달리기보다 다수의 AI와 인간이 공존하며 갈등하고 협력하는 혼합 사회 시스템의 설계에 집중해야 할 때라고.

이것은 AI 안전론의 주요 논거를 정면으로 겨냥한 주장이다. 슈퍼인텔리전스의 존재론적 위험을 경고하는 닉 보스트롬(Nick Bostrom)류의 담론, 혹은 오픈AI와 앤트로픽이 내세우는 '정렬(alignment)' 패러다임은 모두 단일하고 강력한 AI가 언젠가 인간의 통제를 벗어날 수 있다는 가정 위에 서 있다. 에번스 연구팀은 그 가정 자체가 지능의 본질에 대한 오해에서 비롯됐다고 본다. 논문은 현재 지배적인 AI 정렬 방식인 인간 피드백 기반 강화학습(RLHF)이 근본적으로 이자간(dyadic) 교정 모델이라 수십억 에이전트 규모로는 확장될 수 없다고 명시하며, 이를 대체할 '제도적 정렬(institutional alignment)' 개념을 제시했다. 여기서 이자간( dyadic ) 교정 모델이란, 기본적으로 한 명의 인간(평가자)과 하나의 AI(모델)가 짝을 이뤄 인간의 선호, 지시, 피드백으로 그 AI의 출력을 교정하는 구조를 뜻한다. 이 방식은 소규모 상호작용에는 효과적이지만 다수의 AI 에이전트가 서로 상호작용하며 집단적으로 결과를 만들어내는 환경에서는 교정의 주체와 경로가 기하급수적으로 늘어나 확장성이 떨어질 수 있다.

만약 연구팀의 주장이 옳다면 AI 거버넌스 논의의 무게중심은 '어떻게 단일 AI를 통제할 것인가'에서 '어떻게 AI-인간 혼합 생태계의 제도적 틀을 설계할 것인가'로 이동해야 한다. 이것은 AI 연구자만의 문제가 아니다. 법학자, 정치학자, 사회학자, 그리고 입법자들이 함께 앉아야 하는 문제다.

지능 폭발은 이미 일어나고 있다. 다만 그것은 단일한 신의 탄생이 아니라 수조 개의 목소리가 서로 묻고 따지고 조율하는 사회의 탄생이다. 그 사회를 어떻게 만들 것인지, 이것이 지금 우리 앞에 놓인 헌법적 질문이다.

FAQ

특이점이 오지 않는다는 것은 무슨 뜻인가?
단 하나의 전능한 AI가 탄생한다는 시나리오가 틀렸다는 말이다. 에번스 연구팀에 따르면 지능의 본질은 사회적 상호작용에 있기 때문에, AI의 폭발적 성장은 단일 지능이 아니라 수조 개의 AI와 인간이 얽히는 생태계 형태로 일어난다.

사고의 사회(Society of Thought)란 무엇인가?
최신 추론 모델이 어려운 문제를 풀 때 스스로 다양한 인지적 관점을 생성해 내부적으로 토론·검증·조율하는 현상이다. 개발자가 설계하지 않았는데 강화학습 과정에서 창발했다는 점이 핵심이다. 에번스 팀의 선행 연구에서 먼저 규명된 개념으로, 이번 논문이 이를 더 넓은 맥락에서 확장했다.

이것이 AI 오류를 어떻게 줄이는가?
다양한 관점들이 서로의 논리를 검증하고 충돌하는 과정 자체가 오류 교정 메커니즘으로 작동한다. 오래 생각하는 것이 아니라, 여러 관점이 교차 검증하는 구조가 정확도를 높인다.

켄타우로스 시대는 일자리를 어떻게 바꾸는가?
인간과 AI가 역할을 나누고 교환하며 협력하는 복합 행위자 구도가 지식 전문직 전반에서 진행 중이다. 순수한 인간의 작업과 AI 보조 작업의 경계가 무의미해지는 방향이다.

수조 개의 AI 에이전트가 활동하는 사회는 어떻게 통제하는가?
연구팀은 개별 AI 모델 교정이 아니라 제도적 틀 구축이 답이라고 본다. 법정, 시장, 관료제처럼 역할과 규범으로 정의된 디지털 등가물을 설계하고, 그 안에서 권력이 권력을 견제하는 헌법적 감시 구조를 내재화해야 한다는 것이다.