[모아야 보입니다 #2/4] 우리 회사 AI 에이전트, 몇 개인지 아시나요?
우리 회사 AI 에이전트는 몇 개일까요? 부서와 플랫폼에 흩어진 에이전트와 비용이 성과 측정을 어렵게 만드는 이유, 기존 에이전트를 그대로 연결해 한곳에서 관리해야 하는 필요성을 살펴봅니다.
지난 1편에서는 불편한 사실 하나를 확인했습니다. AI 성과에 대한 책임은 커졌는데, 그 성과를 증명할 측정 체계는 뒤처져 있다는 것입니다. 오늘은 한 걸음 더 들어가 "왜 측정이 이렇게 어려운가"를 이야기해 보겠습니다.
간단한 질문으로 시작해 보겠습니다. "지금 우리 회사에서 돌아가고 있는 AI 에이전트는 몇 개인가요?" 이 질문에 바로, 정확하게 답할 수 있는 분은 많지 않을 것입니다. 그리고 바로 그 지점이 문제의 시작입니다.
에이전트는 이미 '수백 개' 단위입니다
AI 에이전트는 답변만 만들어 주는 챗봇과 다릅니다. 업무 흐름을 실행하고, 다른 시스템과 연동하고, 어느 정도 스스로 판단해 일을 처리합니다.
그리고 이런 에이전트는 이미 대기업 곳곳에서 대규모로 운영되고 있습니다.
CIO의 67%는 사내에서 51개 이상의 AI 에이전트가 실제 운영 중이라고 추정합니다.
251개 이상이라는 응답도 32%에 이릅니다.10명 중 1명꼴로는 500개가 넘는다고 답했습니다.
에이전트 몇 개를 한 팀이 만들 때는 하나하나 파악할 수 있습니다. 하지만 수십, 수백 개가 여러 부서와 플랫폼, 모델에 걸쳐 퍼지면 이야기가 달라집니다.
현업은 IT를 기다리지 않습니다
에이전트가 이렇게 빨리 늘어나는 이유는 간단합니다. 만들기가 쉬워졌기 때문입니다.
노코드 도구와 각종 업무용 SaaS에 들어간 AI 기능 덕분에 현업 부서가 직접 에이전트를 만드는 일이 흔해졌습니다.
영업팀은 제안서 초안 에이전트를, 인사팀은 채용 공고 에이전트를, 재무팀은 정산 확인 에이전트를 각자 만듭니다.
그 결과 CIO의 84%가 직원들이 IT가 관리할 수 있는 속도보다 빠르게 AI 에이전트와 애플리케이션을 만들고 있다고 답했습니다.
한국은 87%로 글로벌 평균보다 높습니다.
그런데 CIO들의 답변에는 엇갈리는 지점이 있습니다.
90%는 모든 에이전트를 완전히 파악하고 추적하고 있다고 자신했습니다.
그런데 공식 승인 절차 없이 만들어진 이른바 '섀도우 AI(Shadow AI)'에 대해 구체적으로 묻자, 81%가 모든 에이전트를 완전히 파악하지는 못한다고 답했습니다.
보이는 곳은 잘 보고 있지만, 보이지 않는 곳이 생각보다 넓다는 뜻입니다.
게다가 에이전트 목록은 가만히 있지 않습니다. CIO의 47%는 올해에만 20개가 넘는 에이전트를 폐기했다고 답했습니다.
만들어지고, 고쳐지고, 사라지는 속도가 이렇게 빠른데 83%는 에이전트 생애주기를 관리하는 전사 표준이 없습니다.
엑셀 목록 하나로 따라잡기엔 이미 너무 빠르게 움직이고 있는 셈입니다.
흩어진 AI는 비용도 흩어놓습니다
에이전트가 흩어지면 비용도 함께 흩어집니다.
모델 사용료는 클라우드 청구서에, 업무 자동화 도구 구독료는 각 부서 예산에, 외부 에이전트 서비스 비용은 프로젝트 비용에 들어가 있는 식입니다.
AI 에이전트와 고급 AI 워크로드 비용을 사업부·팀·용도별로 거의 실시간 파악하는 CIO는 21%뿐입니다.
CIO들이 꼽은 비용 고민 1~3위도 모두 '흩어짐'과 맞닿아 있습니다.
팀·용도별 비용 가시성 부족(38%), 에이전트 증가로 생기는 숨은 비용(38%), 중복되거나 겹치는 AI 도구(37%)입니다.
법인카드에 비유하면 이렇습니다.
부서마다 카드를 수십 장씩 발급했는데, 사용 내역은 카드사마다 따로 흩어져 있어 한 화면에서 볼 수 없는 상황입니다.
이래서는 "어디에 얼마를 썼고, 그 돈이 무엇을 만들어 냈나"를 따질 방법이 없습니다.
플랫폼 하나로 갈아타면 될까요?
"그럼 AI 플랫폼을 하나로 통일하면 되지 않나요?"라고 생각할 수 있습니다. 실제로 상당수 AI 플랫폼이 '한곳에서 관리하라'고 제안합니다.
다만 그 방식은 대개 기존에 쓰던 도구와 에이전트를 내려놓고, 해당 플랫폼이 지원하는 방식으로 다시 만들어 그 안에서 쓰라는 것입니다.
모으기는 하지만,갈아타야 모을 수 있는 구조입니다.
문제는 기업의 AI가 반대 방향으로 움직이고 있다는 점입니다.
CIO의 75%는 AI 연속성을 위해 더 많은, 또는 다른 모델을 쓸 계획이고, 74%는 특정 모델을 쓸 수 없게 될 경우에 대비해 오픈소스·오픈웨이트 모델을 검토하고 있습니다.
80%는 특정 AI에 대한 의존도를 점검하는 리스크 평가를 이미 했거나 계획하고 있습니다.
하나에 기대는 것 자체를 위험으로 보기 시작했다는 뜻입니다.
앞으로 기업의 AI는 여러 모델, 여러 도구, 여러 부서에 걸쳐 더 다양해질 것입니다.
이런 환경에서 모든 것을 하나의 플랫폼으로 옮겨 담는 방식은 또 하나의 종속을 만듭니다. 필요한 것은 갈아타기가 아니라 모으기입니다.
하지만 CIO의 60%는 아직 기업 애플리케이션과 도구, IT 환경을 아우르는 중앙 AI 거버넌스 계층을 갖추지 못했습니다.
그래서, 모아야 보입니다
측정이 어려운 이유는 결국 여기에 있습니다. 잴 대상이 이렇게 흩어져 있으니, 모으는 것부터가 쉽지 않습니다.
그래서 측정의 첫걸음은 모으는 것입니다. 에이전트를 새로 만들어 한곳으로 옮기자는 것이 아닙니다.
지금 쓰고 있는 에이전트를그대로 연결해, 한곳에서 함께 관리하자는 것입니다.
그래야 어떤 에이전트가 어디서 돌아가는지, 누가 만들고 누가 책임지는지, 어떤 시스템과 연결되어 얼마를 쓰는지가 보입니다.
이것이 보이지 않으면 ROI는 계산을 시작할 수조차 없습니다.흩어진 AI는 관리되지 않는 비용이고, 모인 AI는 비로소 관리할 수 있는 자산이 됩니다.
다음 편 예고
그렇다면 에이전트를 모두 모으면 끝일까요? 아쉽게도 아닙니다. 모은 다음에는 "무엇을 잴 것인가"라는 더 까다로운 질문이 기다립니다.
3편에서는 '잘 돌아가는 에이전트'와 '일을 잘하는 에이전트'가 왜 다른지, 에이전트를 제대로 평가하려면 어떤 기준이 필요한지 살펴보겠습니다.
흩어진 AI 에이전트를 한곳에서 관리하는 방법이 궁금하다면?
12월 2일 무료 웨비나 사전 신청
