마음과 삶5분 읽기
AI가 권력 문제라고? 도구가 판단자가 되는 순간
AI가 채용처럼 권리와 기회를 좌우하는 판단에 들어왔다. AI는 욕망을 가진 권력자가 아니지만, 판단 기준과 이의제기 경로를 소수 조직이 통제할 때 권력의 장치가 된다. AI의 효익을 살리면서도 통지·설명·재검토·구제를 요구해야 하는 이유를 묻는다.
레이 | 디지털 저널리스트 | awesome.ai.life@gmail.com | 2026년 7월 25일
AI와 인권 특별호 1/7 — 데이터에서 노동, 감시, 민주주의, 규제와 분배까지 AI 권력이 지나가는 길을 추적한다.
[사실] AI는 이미 권리와 기회에 영향을 주는 판단 과정에 들어와 있다. 미국 고용평등기회위원회와 법무부는 기업이 채용 소프트웨어와 AI를 써서 장애인을 부당하게 탈락시키면 장애인법을 위반할 수 있다고 경고했다. AI의 오류가 어색한 답변으로 끝나지 않고 누군가의 일자리를 바꿀 수 있다는 뜻이다. EEOC·법무부 자료
여기서 AI를 사람처럼 상상할 필요는 없다. AI가 욕망을 품고 권력을 탐한다는 말이 아니다.
이 시리즈에서 AI 권력은 이렇게 정의한다. 권리와 기회를 좌우하는 판단을 대규모로 수행하면서, 판단 기준과 이의제기 경로는 소수 조직이 비대칭적으로 통제하는 능력이다. 규모, 속도, 불투명성, 이의제기의 어려움이 한데 모일 때 도구는 권력의 장치가 된다.
[사실] 앰네스티 인터내셔널은 2026년 5월 보고서에서 비동의 웹 스크래핑에 의존하는 독립형 생성형 AI가 프라이버시와 차별금지, 표현과 사상의 자유를 침해할 위험이 있다고 분석했다. 보고서는 이를 “unlawful by design”이라고 불렀다. “설계부터 불법”이라는 뜻이다. 다만 이는 법원의 확정판결이 아니라 국제인권단체의 법적 평가다. 앰네스티 보고서
그렇다면 AI는 중립적인 도구이고, 쓰는 사람만 잘 통제하면 되지 않을까?
이용자만 보아서는 부족하다. 채용 AI에는 개발자가 고른 데이터와 평가 기준이 이미 들어가 있다. 결과에는 데이터를 모은 사람, 모델을 만든 기업, 시스템을 산 기관의 선택이 함께 작용한다. 책임도 그 경로를 따라 나눠야 한다.
[사실] 그렇다고 AI가 인권에 해만 끼치는 것은 아니다. OECD는 AI가 교육과 건강에 관한 권리를 넓힐 수 있다고 본다. 장애인의 노동시장 참여를 돕는 접근성 기술도 가능하다. OECD 디지털 시대의 인권 OECD 장애인 노동시장 보고서
바로 그 효익 때문에 통제가 더 중요하다. 유용한 기술일수록 더 넓게 쓰이고, 잘못된 판단의 영향도 커지기 때문이다. 효익을 인정하는 것과 권력을 통제하는 것은 반대말이 아니다.
이 시리즈는 다섯 가지를 계속 묻는다. 당사자에게 AI 사용을 알렸는가. 판단 기준을 설명했는가. 사람이 재검토할 수 있는가. 잘못됐을 때 이의를 제기하고 구제받을 수 있는가. 독립적인 감사와 시민 참여가 가능한가.
AI 시대의 인권은 기술을 거부하자는 구호가 아니다. 누가 판단 기준을 만들고, 누가 이익을 얻으며, 오류의 비용을 누가 지불하는지 묻는 절차다. 이 글에서는 그 권력의 첫 번째 연료인 데이터를 따라간다.
권력은 결과보다 앞에서 만들어진다
알고리즘의 판단은 화면에 점수가 뜨는 순간 갑자기 생기지 않는다. 먼저 어떤 문제를 자동화할지 정하고, 성공을 무엇으로 측정할지 고르고, 누구의 기록을 학습 데이터로 쓸지 결정한다. 그 뒤에야 모델이 만들어지고 현장에 배치된다. 따라서 권력을 살피려면 마지막 결과만이 아니라 목표 설정에서 구매, 운영, 사후 대응까지 이어지는 전체 경로를 보아야 한다.
예컨대 채용에서 ‘좋은 지원자’를 과거 우수 직원과 비슷한 사람으로 정의하면 과거 조직의 편향도 성공의 기준에 섞일 수 있다. 반대로 접근성 도구가 장애인의 의사소통과 업무 수행을 돕도록 설계된다면 같은 AI도 기회의 문을 넓힌다. 기술의 이름이 결과를 정하는 것이 아니다. 무엇을 최적화했고 그 과정에서 누구의 경험을 중요하게 취급했는지가 결과를 만든다.
규모도 중요하다. 한 관리자의 편견은 심각하지만 적용 범위가 제한될 수 있다. 자동화된 판단은 같은 기준을 수천 명에게 동시에 적용하고 서로 다른 기관으로 빠르게 복제한다. 작은 오류율도 적용 인원이 커지면 많은 사람의 불이익으로 바뀐다. 효율성은 좋은 결과뿐 아니라 잘못된 기준까지 확장하는 힘이다.
정확도가 높으면 권력 문제도 사라질까?
그렇지 않다. 정확도는 중요한 기술적 기준이지만 정당성 전체를 대신하지 못한다. 어떤 판단은 틀릴 확률이 낮아도 애초에 해서는 안 될 수 있다. 또 전체 평균이 좋아도 특정 집단에 오류가 집중될 수 있다. 무엇보다 당사자가 AI가 쓰였다는 사실조차 모르고 결과를 이해하거나 다툴 길이 없다면 높은 정확도만으로 절차가 공정하다고 말하기 어렵다.
그래서 인권의 언어는 “얼마나 잘 맞혔는가” 다음의 질문을 요구한다. 이 판단이 꼭 필요한가. 덜 침해적인 다른 방법은 없는가. 어떤 집단이 더 큰 위험을 떠안는가. 사람의 검토는 이름뿐인 절차인가, 실제로 결과를 바꿀 권한이 있는가. 피해가 생겼을 때 누가 조사하고 보상하는가.
이 질문들은 혁신을 늦추는 장벽이 아니다. 오류를 숨긴 채 빠르게 확장한 시스템은 결국 더 큰 비용으로 중단되거나 교체된다. 처음부터 통지와 기록, 이의제기와 감사를 설계한 시스템은 문제가 생겼을 때 원인을 찾고 고칠 수 있다.
책임을 “AI가 그랬다”는 문장 뒤에 숨겨서도 안 된다. 모델은 정책 목표를 선택하지 않고 피해자에게 배상하지 않는다. 책임의 주체는 데이터를 수집한 조직, 모델을 만든 기업, 도입을 결정한 기관, 결과를 사용한 사람이다. 이들이 각자의 결정과 통제 범위에 맞게 책임을 나눌 때만 자동화가 책임의 공백으로 변하지 않는다.
결국 AI가 권력이 되는 경계는 지능의 높이가 아니라 인간의 통제 가능성에 있다. 영향을 받는 사람이 알 수 없고 설명을 들을 수 없으며 판단을 바꿀 수도 없다면 그 시스템은 이미 권력을 행사한다. 반대로 중요한 결정에 사람이 개입하고 당사자가 다툴 수 있으며 독립적인 감시가 작동한다면 AI는 다시 통제 가능한 도구에 가까워진다.
AI와 인권 특별호
Related