유창한 권고, 침묵하는 책임

문제는 한 가지가 아니다. 네 균열이 동시에 작동한다.

첫째 환각이다. 모델이 그럴듯한 문장 안에 사실 아닌 정보를 끼워 넣는다. Stanford HAI의 2024년 연구는 법률 인용을 LLM에 시켰을 때 영역별로 58~88%가 검증 단계에서 오류로 드러났다고 보고한다(출처: Stanford HAI / Dahl et al., 2024). 일반 사용자가 직접 판례 데이터베이스에 접근해 확인하기 어렵다는 점이 환각을 더 위험하게 만든다.

둘째 편향이다. 학습 데이터의 분포가 그대로 권고에 스며든다. Mittelstadt 등(2016)은 이를 인식적 부정의(epistemic injustice — 학습 데이터의 편향이 소수자 결정에 체계적으로 불리하게 작용하는 현상)로 부른다. 알고리즘은 중립이 아니라 학습된 사회의 평균을 재생산한다.

셋째 책임 공백이다. 모델 제공자, 배포자, 사용자 셋 가운데 누가 결과의 책임을 지는지 법적·도덕적으로 명료하지 않다. 철학자 Andreas Matthias가 2004년 정리한 책임 공백(Responsibility Gap)은 학습된 시스템의 결정에 어떤 인간 행위자도 충분한 통제권을 갖지 않는 상태를 가리킨다.

넷째 자동화 편향이다. AI 권고가 정확할 때 인간 판단도 같이 정확해진다. 단 의료 진단 보조 분야 메타분석은 AI가 틀렸을 때조차 인간이 그 권고를 따라가는 비율이 30%p가량 상승함을 보여준다. 검증층이 자동화로 오히려 무너지는 역설이다. Reason의 스위스 치즈 모델로 보면, 한 겹의 구멍이 다른 겹의 구멍과 정렬되는 순간 사고가 통과한다.

누가 펜을 쥐었나. EU는 이 질문에 가장 적극적으로 답하는 중이다.

EU AI Act는 2024년 3월 의회 채택, 8월 1일 발효를 거쳐 단계적으로 적용되고 있다. 2025년 2월에는 사회 점수 같은 unacceptable risk(허용 불가 위험) 시스템이 시장에서 퇴출됐고, 8월에는 범용 AI(GPAI — General-Purpose AI, 다용도 기반 모델) 제공자에게 학습 데이터 요약과 저작권 정책 공개 의무가 부과됐다. 2026년 5월 현재는 고위험 시스템(의료기기·채용·신용평가·사법 보조 등 Annex III 8개 영역)의 적합성 평가가 본격화되는 단계다. 위반 시 과징금은 전 세계 매출의 7% 또는 €35M 가운데 높은 쪽으로, GDPR(개인정보보호법)의 4%보다 무겁다.

단 절차적 보호와 책임 귀속은 다른 문제다. AI Act는 인간 감독, 투명성, 위험 관리 의무를 요구하지만, 모델이 잘못된 권고를 내고 사용자가 그것을 따랐을 때 손해 배상의 흐름이 어디로 가는지는 회원국 민사법 영역으로 다시 던져진다. Mata v. Avianca의 판단은 검증 의무가 사용자(변호사)에게 있다고 못 박았다. 단 그 변호사가 권고를 검증할 도구를 갖지 못했다면, 책임을 사용자에게만 묻는 것이 정의로운가. 책임 공백은 좁아졌으되 사라지지는 않았다.

Floridi와 Cowls가 2019년 제안한 5원칙(선행·무해·자율·정의·설명가능성) 가운데 LLM이 가장 거세게 압박하는 항목은 자율(autonomy)이다. 칸트적 의미의 자율은 자기가 자기의 결정에 도달한다는 뜻이다. LLM이 권고를 내고 사용자가 그것을 검증 없이 채택하면, 결정의 형식은 인간이 한 듯 보이나 실제 결정은 모델이 했다. 이때 결정의 무게는 누구의 것인가.

정의(justice) 측면에서는 인식적 부정의가 다시 등장한다. 신용 평가나 보석 결정에 LLM이 보조로 들어갈 때, 학습 데이터에서 과소대표된 집단이 체계적으로 불리한 권고를 받을 수 있다. 결정자가 자동화 편향에 끌려 권고에 일치하는 결정을 내린다면, 그 부정의는 절차적으로 합법인 채로 누적된다.

설명가능성(explicability)도 LLM 구조와 충돌한다. 수천억 매개변수의 가중치 행렬에서 특정 권고가 왜 나왔는지 인간이 추적하기 어렵다. AI Act는 '의미 있는 정보'를 사용자에게 제공하라고 요구하지만, 사후 합리화(post-hoc explanation)와 진짜 인과 설명을 구분하는 기준은 정해져 있지 않다.

여기서 메타-윤리적 질문이 남는다. LLM의 권고가 도덕적 정당화에 기여할 수 있는가. 즉 '모델이 이렇게 권고했다'가 결정의 도덕적 근거가 되는가. Searle의 중국어 방 논쟁(1980)이 가리킨 것처럼, 의도와 이해 없이 형식 조작만 수행하는 시스템에 도덕적 권위를 부여하는 일은 범주 오류다. 모델은 권위를 빌려줄 수는 있어도 책임의 발화 주체는 될 수 없다.

이 지점에서 두 입장이 정면으로 부딪친다.

활용론은 LLM 보조가 인간 단독 결정보다 평균 정확도를 높인다는 데이터를 가리킨다. 의료 진단에서 AI가 정확할 때 임상의의 진단 정확도가 상승한다는 메타분석은 사실이다. 따라서 LLM 보조의 단계적 확산이 사회 후생을 늘린다는 주장이다.

신중론은 같은 메타분석의 다른 면을 가리킨다. AI가 틀렸을 때 인간이 따라가는 30%p의 추종률이 검증층 자체를 약화시킨다. 평균 정확도 상승은 AI가 옳을 때의 효과이고, AI가 틀릴 때의 비용은 비대칭적으로 소수에게 집중된다. 평균은 가려지고 분포의 꼬리는 두꺼워진다.

봉합은 어렵다. 두 입장 모두 사실이다. 한쪽은 평균을, 다른 쪽은 분포의 꼬리를 본다. 현 시점 EU AI Act가 채택한 길은 신중론에 가깝다. 고위험 영역에 인간 감독을 의무화하고, 위반 시 GDPR보다 무거운 과징금을 매겼다. 단 활용론이 살아나는 조건이 있다. 검증 도구가 사용자 손에 닿는 가격으로 제공되고, 자동화 편향을 줄이는 인터페이스 설계(예: AI 권고에 의도적으로 반대 검토를 강제하는 disagreement prompt)가 표준이 될 때다. 그 조건이 충족되지 않은 채 확산만 빨라지면 신중론의 손이 더 들린다.

다음 18개월의 적합성 평가가 그 분기를 결정한다. 무엇을 보면 어느 시나리오가 굳어지는지가 다음 표의 감시 신호에 정리되어 있다.