AI 투명성이 독재의 설계도가 될 때

레이 | 디지털 저널리스트 | awesome.ai.life@gmail.com | 2026년 4월 25일

2026년 4월, AI와 정치, 제도 설계를 연구하는 한 연구자가 논문 한 편을 발표했다. 겉으로는 행정용 AI 설계에 관한 기술 논문처럼 보인다. 하지만 논문이 던지는 질문은 훨씬 오래되고 불편한 곳을 겨눈다.

우리가 부패를 막겠다며 규정과 절차를 표준화하고 예외를 줄이고 판단 기준을 코드로 고정하면 시스템은 더 투명해진다. 그런데 언젠가 집권할 미래의 권력, 이를테면 쿠데타가 아니라 선거로 권력을 잡은 뒤 합법의 테두리 안에서 반대파를 선별적으로 압박하고 언론과 사법을 길들이려는 지도자와 측근들에게는(여기서 내란수괴가 떠오르는 건 이상한 일이 아닐게다. 내가 이 논문에 관심을 갖게 된 것도 그것이니까) 그 투명성이 오히려 ‘어디까지 밀어붙여도 합법으로 남는가’를 알려주는 지도가 되는 건 아닐까?

앤드류 J. 피터슨(Andrew J. Peterson)의 논문 "AI Governance under Political Turnover: The Alignment Surface of Compliance Design"(2026)은 이 질문을 정면으로 다룬다.

앤드류 J. 피터슨은 프랑스 푸아티에대학교(University of Poitiers) 조교수로, AI가 정치·제도·지식 체계에 미치는 영향을 머신러닝(텍스트 분석)으로 연구한다. 제네바대학교(University of Geneva)에서 박사후연구원(2017–2019)으로 일했고, 2017년 뉴욕대(NYU)에서 박사 학위를 받았다. 민간 부문에서 데이터 사이언티스트로 일한 경력(Elenchos AI)도 있다.

쉽게 말해, 이 논문은 “나쁜 사람이 나타나서 망한다”가 아니라 “이 시스템은 누가 잡아도 악용하기 쉬운 모양을 갖는다”고 말한다. 규칙이 AI로 깔끔하게 정리될수록, 다음 권력은 규칙을 이리저리 대입해 보며 ‘어디까지가 합법인가’라는 선을 빠르게 찾아낸다. 그러면 법을 대놓고 어기지 않아도, 그 선 안에서 정치적 상대를 압박하는 도구로 시스템을 써먹을 수 있다.

논문의 핵심 주장은 단순하다. 민주주의 정부가 행정 효율화를 위해 도입한 AI 거버넌스 시스템은 정권이 교체되면, 설계 자체가 권위주의적 통제 도구로 전용될 수 있다. 그리고 이 전용을 가능하게 하는 것은 바깥의 적이 아니라, 민주주의 개혁론자들이 자랑스럽게 구축한 ‘투명성’과 ‘표준화’라는 덕목이다.

이것은 기술의 결함에 관한 이야기가 아니다. 기술의 덕목이 어떻게 정치적 취약성으로 바뀌는가에 관한 이야기다.

학습 가능한 경계가 제공하는 것

과거의 관료제는 예측하기 어려웠다. 수백 명의 공무원이 각자의 주관적 판단을 섞어 행정 결정을 내렸다. 이 판단의 불투명성은 분명 부패의 온상이었지만, 동시에 악의적 행위자가 제도를 완전히 장악하지 못하게 만드는 ‘마찰’이기도 했다. 인간의 자의는 비효율적이었지만, 그 비효율이 권력 남용을 어렵게 만드는 구조적 완충재 역할을 했다.

AI 기반 행정 시스템은 이 마찰을 제거한다. 피터슨은 이를 ‘정렬 표면(Alignment Surface)’이라는 개념으로 설명한다. 정렬 표면은 한마디로 AI 준수 시스템이 법과 규정을 ‘통과/차단’으로 판정하기 위해 만들어 놓은, 예측 가능한 경계의 지도다. 이 지도는 대략 다음 요소들로 구성된다.

• 입력 공간: 어떤 행정 행위가 어떤 특징(문서 형식, 발언, 거래 구조, 예산 항목, 민원 유형 등)을 갖는가
• 판정 규칙: 그 특징 조합이 규정에 부합하면 Pass, 의심되면 Flag가 나오도록 하는 기준
• 경계(결정 경계): Pass와 Flag가 갈리는 지점. 즉 “여기까지는 합법, 여기서부터는 제재”라는 선

핵심은 이 경계가 사람의 재량이 아니라 코드와 모델이 재현 가능한 형태로 고정된다는 점이다. 그래서 시스템이 투명해질수록, 그리고 판정이 누적될수록, 누군가가 다양한 시나리오를 넣어 보며 “어디까지 밀어붙이면 통과하는가”를 실험적으로 탐색하기가 쉬워진다. 피터슨이 경고하는 위험은 바로 여기에서 나온다. 투명성과 표준화가 ‘감시’뿐 아니라 ‘악용을 위한 학습’에도 똑같이 유용해질 수 있다는 것이다.

피터슨은 이를 ‘학습 가능성(Learnability)’이라 부른다. 인간 관료의 자의적 판단이 사라진 자리에는, 알고리즘이 만들어 낸 예측 가능한 경계가 들어선다. 그 경계는 누가 심문해도 같은 답을 내놓는다. 부패 방지를 위해 설계된 시스템이, 바로 그 일관성 때문에 전략적 조작의 대상이 된다.

이를 권력의 언어로 번역하면 이렇게 된다. 독재자는 더 이상 법을 부술 필요가 없다. 법의 경계선을 정밀하게 파악하고, 그 선 바로 안쪽에서 합법적으로 민주주의를 해체할 수 있다.

감시의 역설, 혹은 투명성이 맞이한 자기 배반

피터슨은 이를 ‘코드화의 딜레마(Codification Dilemma)’라고 부른다. 시스템을 더 정교하게 코드화할수록, 내부자는 작동 원리를 더 쉽게 파악한다. 감시망을 촘촘하게 짤수록, 그 망의 구조도 더 또렷하게 드러난다.

이 역설이 낯설지 않다면 이유가 있다. 법학에서는 오래전부터 이를 알고 있었다. 칼 슈미트(Carl Schmitt)는 <정치신학(Politische Theologie)>(1922)에서 “주권자는 예외 상태를 결정하는 자”라고 선언했다. 이 말은 AI 거버넌스 시대에 이렇게 착지한다. AI 준수 시스템이 ‘정상 상태’의 경계를 수치로 확정하는 순간, 그 경계의 예외를 선언하고 재설정할 수 있는 자가 실질적 주권자가 된다. 시스템이 정교할수록, 그 시스템을 리셋할 수 있는 권력은 더 집중된다.

부패 방지를 위해 도입한 투명한 AI 시스템이, 미래에는 법의 테두리 안에서 민주주의를 좀먹는 ‘정교한 침식’의 통로가 될 수 있는 이유가 여기에 있다.

이것이 단순한 보안 취약점이 아닌 이유도 같다. 이것은 민주적 설계의 의도가 권위주의적 결과를 낳는 구조적 아이러니다. 기술은 중립적이지 않다. AI 준수 시스템을 설계한 사람들의 선한 의도는, 그 시스템이 살아남아 다른 손에 넘어가면 쉽게 무력해진다.

합법적 권위주의의 문법

효율이 민주주의를 대체할 수 있는가. 이 질문은 수사처럼 보이지만, 실제로는 이미 답이 진행 중인 질문이다.

피터슨 논문이 가장 불편하게 만드는 지점도 여기다. 논문이 묘사하는 시나리오에서 독재자는 쿠데타를 일으키지 않는다. 법을 공개적으로 위반하지도 않는다. 그들은 민주적으로 선출되어 집권하고, 기존 시스템의 정렬 표면을 반복적으로 탐색하며, 법적 한계선 안에서 반대파를 억압하고 미디어를 통제하고 선거를 유리하게 조작한다. 이것이 ‘합법적 권위주의(Legalized Authoritarianism)’의 문법이다.

이 문법은 21세기에 갑자기 등장한 것이 아니다. 헝가리의 빅토르 오르반(Viktor Orbán) 정부는 2010년 집권 이후 헌법 개정, 사법부 인사 장악, 미디어 통제를 모두 법적 절차 안에서 수행했다. 학자들은 이를 ‘스텔스 권위주의(Stealth Authoritarianism)’라고 불렀다. 법이라는 껍데기는 유지한 채, 그 속을 파내는 방식이다.

터키의 레제프 타이이프 에르도안(Recep Tayyip Erdoğan)도 2016년 쿠데타 시도 이후 비상사태를 법적 근거로 삼아 반대파 숙청, 언론 통제, 헌법 개정을 체계적으로 진행했다. 두 경우 모두, 제도의 투명성과 절차성은 권위주의적 전환을 막는 방파제가 되지 못했다.

피터슨이 경고하는 것은, AI 거버넌스가 이 문법을 더 정밀하고 더 빠르게 실행할 도구를 제공할 수 있다는 점이다. 과거의 권위주의자들은 법의 경계를 탐색하는 데 수년이 걸렸다. AI 기반 시스템은 그 탐색을 알고리즘적으로 가속한다.

현대화 압박이라는 구조적 함정

여기서 문제를 개인의 악의나 특정 정권의 성향으로만 돌리는 것은 논증을 약하게 만든다. 피터슨 논문의 중요한 공헌은, 이 문제를 구조적으로 파악한다는 점에 있다.

피터슨은 ‘현대화 압박(Modernization Pressure)’을 핵심 변수로 제시한다. 정부는 예산 제약과 효율성 요구 앞에서 AI 도입을 서두른다. 이 압박은 민주 정부와 권위주의 정부를 가리지 않는다. 문제는 안전장치를 충분히 설계하기 전에 시스템이 먼저 구축된다는 점이다. 그리고 한 번 구축된 시스템은 정권이 바뀌어도 남는다. 인프라는 이념보다 오래 산다.

이 구조적 함정은 한국도 다르지 않다. 공공행정의 디지털 전환, AI 기반 민원 처리, 공정성 담보를 위한 알고리즘 도입은 모두 민주주의를 강화하겠다는 명분 아래 추진된다. 그러나 정렬 표면을 어떻게 설계할지, 권력 교체기에 ‘리셋 권한’을 누가 쥘지에 대한 논의는 거의 없다. AI 도입 속도에 비해, AI 거버넌스를 헌법적으로 설계하는 속도는 현저히 느리다.

민주주의가 스스로를 지켜야 할 곳

피터슨 논문이 내놓는 처방은 기술적 해법이 아니다. 그는 ‘AI 정렬(AI Alignment)’이 단지 AI를 인간 의도에 맞추는 문제를 넘어, ‘미래의 불확실한 권력으로부터 시스템을 어떻게 보호할 것인가’라는 정치철학적 과제로 확장돼야 한다고 주장한다. 이것은 기술 문제가 아니라 헌법 설계의 문제다.

여기서 한나 아렌트(Hannah Arendt)를 불러오자. 아렌트는 <전체주의의 기원(The Origins of Totalitarianism)>(1951)에서 전체주의는 ‘나쁜 사람 하나’ 때문에 갑자기 생기기보다, 사람들이 함께 말하고 함께 행동하는 공간이 약해지고 사람들이 각자 흩어져 고립될 때 더 쉽게 자란다고 봤다.

쉽게 말해,

• 공적 영역의 붕괴는 “다 같이 보고, 따지고, 항의하고, 연대할 수 있는 자리(언론, 시민단체, 공론장 등)가 약해지는 것”이고
• 대중의 원자화는 “사람들이 서로 연결되지 못한 채 각자 따로 문제를 겪는 것”이다.

AI 거버넌스의 시대에 이것은 이렇게 읽을 수 있다. 행정이 점점 ‘규칙 + 시스템 판정’으로 굳어질수록, 사람들은 제도와 싸우기보다 각자 시스템 앞에서 혼자 판정을 받아들이는 쪽으로 밀려날 수 있다. 그때 사회가 함께 문제를 제기하고 수정하는 힘이 약해지면 시스템은 더 쉽게 악용될 수 있다.

나는 피터슨의 논리를 세 가지로 정리했다.

첫째, 정렬 표면의 리셋 권한을 헌법적으로 분산하는 것이다. 단일 주체가 AI 준수 시스템의 판단 기준을 바꾸지 못하도록 구조화해야 한다.

둘째, 정권 교체기에 자동으로 작동하는 시스템 감사 프로토콜을 제도화하는 것이다. 새 정권이 시스템을 인수하기 전, 독립 기관이 정렬 표면의 변경 여부를 검토해야 한다.

셋째, ‘회복 탄력성(Resilience)’을 AI 거버넌스의 핵심 설계 기준으로 삼는 것이다. 효율성과 투명성이 아니라, 악용 내성(Adversarial Robustness)이 설계의 우선순위가 돼야 한다.

AI를 도입하는 속도와 AI 거버넌스를 헌법적으로 설계하는 속도 사이의 거리가 민주주의가 스스로를 지켜야 할 바로 그 공간이다. 우리가 구축하는 시스템이 효율적이고 투명할수록 우리는 동시에 그 시스템이 다른 손에 넘어갔을 때 얼마나 쉽게 무기가 될 수 있는지를 물어야 한다.

기술은 그 물음에 답하지 않는다. 우리가 답해야 한다. / raylogue

FAQ

1. 정렬 표면(Alignment Surface)이란 무엇인가?
   피터슨이 말하는 정렬 표면은, AI 준수 시스템이 행정 행위를 ‘통과(Pass)’ 또는 ‘차단(Flag)’으로 나누기 위해 만들어 둔 예측 가능한 경계(결정 경계)의 지도다. 쉽게 말해 “어떤 조건이면 통과하고, 어떤 조건이면 걸리는지”가 시스템 안에 표준화된 형태로 고정된 것이다.
2. 정렬 표면이 왜 위험할 수 있나?
   경계가 표준화되어 있으면 감시는 쉬워진다. 하지만 악의적 행위자가 시스템을 인수하면, 여러 시나리오를 넣어 보며 “어디까지는 합법으로 통과하는가”를 반복 실험해 경계를 학습하고, 그 안쪽에서 권력을 남용할 수도 있다.
3. 이 글은 ‘지금의 AI 거버넌스는 다 위험하다’는 주장인가?
   아니다. 이 글의 요지는 “특정 조건(표준화·코드화·반복 실험 가능성)이 갖춰지면, 투명성이 역으로 악용 가능성을 키울 수 있다”는 구조적 경고다. 즉, 현재의 모든 제도가 이미 그렇다고 단정하기보다, 설계가 어디로 기울 수 있는지 묻는 것이다.
4. ‘코드화의 딜레마’는 무엇을 뜻하나?
   부패 방지와 책임성을 위해 규칙을 더 세밀하게 코드로 박을수록, 내부자(그리고 미래의 권력)가 그 구조를 더 쉽게 이해하고 활용할 수 있다는 역설을 말한다. 감시망을 촘촘히 만들수록, 그 망의 구조도 더 또렷해진다.
5. 그럼 대안은 무엇인가?
   핵심은 효율이나 투명성만이 아니라 ‘악용 내성’을 설계 목표로 올리는 것이다. 예를 들어 (1) 판단 기준 변경 권한의 분산, (2) 정권 교체기 감사 프로토콜, (3) 시스템이 경계를 ‘학습’당하지 않도록 반복 탐색을 제한하거나 기록·감사하는 장치 등이 필요하다.