AI 자동화 프로젝트가 실패하는 이유

AI 자동화 프로젝트가 실패하는 이유

맥킨지가 2023년 발표한 보고서에 따르면, 전 세계 AI 파일럿 프로젝트의 약 87%가 실제 운영 환경으로 전환되지 못하고 개념 증명(PoC) 단계에서 사장된다. 수십억 달러를 쏟아붓고도 왜 이렇게 많은 프로젝트가 실패하는가. 기술의 문제가 아니라는 게 답의 핵심이다.

목표 설정의 오류

실패한 AI 프로젝트를 해부하면 공통된 첫 번째 증상이 보인다. "AI를 도입하자"는 결정이 "무엇을 해결하자"보다 먼저 나온다. 2022년 국내 한 대형 유통사는 수요 예측 AI 시스템에 18개월과 70억 원을 투자했다. 결과는 기존 엑셀 기반 예측보다 정확도가 낮았다. 조사해보니 문제는 데이터가 아니라 KPI였다. 구매팀과 물류팀이 서로 다른 재고 기준을 사용하고 있었고, AI는 두 팀 중 어느 쪽 목표를 최적화해야 할지 결정할 수 없었다. 조직 내부의 목표 불일치를 AI에 떠넘긴 결과였다.

데이터 품질의 함정

AI 모델의 성능은 학습 데이터의 품질과 정비례한다. 그러나 대부분의 기업은 자사 데이터의 실태를 과신한다. MIT의 2021년 연구에서는 기업 데이터의 평균 오류율이 약 27%에 달한다는 분석이 나왔다. 중복, 결측, 레이블 오류, 시간 순서가 뒤바뀐 로그가 뒤섞인 상태다. 어느 글로벌 제조사는 설비 고장 예측 모델에 5년치 센서 데이터를 넣었지만, 야간 교대 근무 중 발생한 이상값들이 실제 고장 신호로 잘못 레이블돼 있었다. 모델은 야간 가동 자체를 '이상'으로 학습했다.

운영 환경과의 괴리

개발 환경과 실제 운영 환경의 간극은 기술적 문제 이전에 조직적 문제다. 데이터 사이언티스트는 정제된 배치 데이터로 모델을 만들고, 현장에서는 실시간 스트림 데이터가 흐른다. 모델이 학습할 때 존재하지 않았던 변수들이 운영 중에 등장한다. 코로나19 초기인 2020년 상반기, 수요 예측 AI를 도입하고 있던 대부분의 소매 기업은 모델을 전면 폐기해야 했다. 훈련 데이터에 전례 없는 패턴이 존재하지 않았기 때문이다. AI는 분포 변화(distribution shift)에 극히 취약하고, 이 취약성을 감지하고 대응하는 모니터링 체계를 갖춘 기업은 여전히 소수다.

조직 저항과 변화 관리의 부재

기술이 완벽해도 사람이 쓰지 않으면 무의미하다. 미국의 한 병원은 2019년 임상 노트를 분석해 패혈증 위험을 조기 경보하는 AI를 도입했다. 알고리즘 정확도는 검증 환경에서 AUC 0.89였다. 그러나 6개월 후 의사들의 경보 확인율은 17%에 불과했다. 이유는 단순했다. 하루에 수십 건씩 울리는 경보 중 실제 위급 사례는 극소수였고, 의사들은 빠르게 '경보 피로(alert fatigue)'를 학습했다. 정밀도(precision)와 현장 사용성 사이의 균형을 사전에 논의한 사람이 없었다.

지속 불가능한 유지보수 구조

AI 모델은 배포로 끝나지 않는다. 현실의 데이터 분포는 계속 변하고, 모델은 주기적인 재학습(retraining)을 필요로 한다. 그러나 프로젝트 예산의 80% 이상이 개발 단계에 집중되고, 운영 이후 유지보수 비용은 별도 항목으로 계획되지 않는 경우가 많다. 외부 컨설팅 업체가 모델을 납품하고 떠난 뒤, 내부에 모델을 이해하고 관리할 수 있는 인력이 없는 상태가 된다. 기술 부채가 아니라 '지식 공백'이 프로젝트를 죽인다.

성공하는 프로젝트의 공통점

역으로 성공하는 AI 자동화 프로젝트는 몇 가지 패턴을 공유한다. 첫째, 작게 시작한다. 아마존 알렉사의 초기 버전은 타이머 설정과 단위 변환만 할 수 있었다. 둘째, 비즈니스 담당자가 설계 단계부터 참여한다. 셋째, 실패 지표(failure metric)를 사전에 정의한다. "모델이 틀렸을 때 어떤 일이 벌어지는가"를 배포 전에 시뮬레이션한다. 가장 성숙한 조직은 AI를 완성된 솔루션이 아닌, 지속적으로 관리되는 시스템으로 취급한다.

AI 자동화의 가장 큰 적은 AI에 대한 과잉 기대와, 그 기대를 정정하지 않는 조직 문화다.