[팩트UP=이세라 기자] ＃ 자영업자 김민수(43·가명)씨는 최근 은행 창구에서 은행 직원으로부터 황당한 말을 들었다. 대출이 안되는데 시스템이 판단하는 것이라 이유를 알려줄 수 없다는 얘기였다. 김씨는 10년 넘게 거래해 온 은행이었고 연체 기록도 없었기에 당황했다고 한다.
김씨는 “대출 심사 결과가 ‘부적합’으로 나와서 은행직원에게 이유를 묻자 왜인지 자신도 알 수 없다며 화면을 보여줬다”면서 “AI가 그렇게 나왔다고 하는데 분통이 치밀었다”고 불만을 토로했다.
그는 “내가 마주한 것은 거절 통보가 아니라 설명 없는 결정이었고 누가 판단했는지, 무엇이 문제였는지, 이의 제기는 가능한지 등 어떤 질문에도 답은 돌아오지 않았다”며 “대출을 거절한 것은 사람이 아닌 은행이 도입한 자동 심사 AI 시스템이고 직원은 최종 승인자였지만 AI가 매긴 점수를 바꿀 권한은 없었다”고 분통을 터트렸다.
◆ “바뀐 것 기술 아닌 권한의 위치”
＃ 수도권의 한 공공기관에서 근무하는 7년 차 직원인 박수민(33·여·가명)씨. 복지 지원 신청자와 마주한 그녀의 책상 위 모니터에는 ‘위험도 점수 87점 – 부적합’이라는 문구가 떠 있었다.
박씨는 “제가 판단하는 것은 거의 없고 AI가 점수를 매기면 저는 승인 버튼만 누른다”면서 “저에게 점수를 바꿀 권한이 없고 이유를 물어보는 민원이 와도 기준을 몰라 설명할 수가 없다”고 전했다.
보조 도구라던 AI가 최근 결정권자가 되어 ‘무소불위의 권력(?)을 행사하고 있다. 정부와 기업은 AI 도입을 설명할 때 항상 ’의사결정을 돕는 보조 수단‘이라는 표현을 쓴다. 하지만 <본지가> 확인한 복수의 공공기관·금융사 내부 매뉴얼에는 전혀 다른 현실이 담겨 있다.
예컨대 AI가 산출한 점수에 따라 자동 분류, 직원은 수정 권한 없이 승인 또는 전달, 결과 변경 시 사유서 제출 요구 등이 그것이다. 물론 형식상 최종 결정자는 사람이다. 하지만 실질적인 판단은 이미 AI가 끝낸 구조를 띄고 있다.
금융권 자동 심사 시스템을 경험한 한 금융권 직원은 “AI 결과를 뒤집으면 오히려 문제가 되는데 ‘왜 시스템 판단을 무시했느냐’는 보고를 해야 하기 때문”이라며 “경험하고 보니 인간의 개입은 책임을 남기기 위한 장치일 뿐이고 판단의 주체는 AI, 책임의 주체는 여전히 사람으로 남는다”고 허탈해 했다.
사실 AI 도입 이전에는 사람이 판단하고 시스템이 기록했다면 AI 도입 이후에는 시스템이 판단하고 사람이 기록하고 있다. AI 전문가들은 이 구조를 ‘권한의 이전’이라고 말하고 있다. 판단의 위치가 바뀌었지만 법과 제도는 여전히 과거에 머물러 있다는 것이다.
◆ “이미 시작된 결정 자동화 사회”
문제는 ‘AI가 판단했다는 말 뒤에 사라진 질문에 대한 설명이다. 왜 탈락했는지, 어떤 기준이 적용됐는지, 이의 제기는 가능한지 등에 대한 답변을 들을 수가 없다. AI가 개입된 순간 이 질문들에 답할 주체가 사라진다는 이유에서다.
결국 국민은 이유를 모른 채 결과만 통보받고 있다. 책임 소재를 찾을 때 기관은 ‘시스템 기준이다’라는 말로 회피하고 개발사는 ‘운영은 기관 책임이다’며 발뺌하고 있는 게 현실이다.
국내 대기업 인사팀에 근무하는 오상국(51·가명)씨는 “AI 판단은 더 이상 미래의 이야기가 아니다”며 “채용 서류 자동 탈락이나 대출·보험 자동 거절, 복지·행정 자동 분류 등 삶의 중요한 갈림길에서 사람은 더 이상 설명을 요구할 상대를 찾지 못하고 있다”고 지적했다.
국내 굴지의 증권사 고위 임원인 장수철(55·가명)는 “민주주의 사회에서 결정에는 항상 주체가 있는데 그러나 AI가 판단의 전면에 나선 지금 그 주체는 흐릿해지고 있다”면서 “결정은 있었지만 결정자는 없고 책임은 남았지만 책임질 존재는 보이지 않는다”고 우려했다.
