AI를 활용한 성과 창출은 통합형 플랫폼에서 시작된다.
많은 기업이 생성형 AI를 도입하고 있지만, 현업에서 체감되는 비즈니스 이점은 기대에 미치지 못한다. MIT NANDA의 ‘2025년 비즈니스 AI 현황(State of AI in Business 2025)’ 보고서에 따르면, 생성형 AI 프로젝트 중 95%는 매출 증가나 비용 절감 등 손익계산서에 반영될 수준의 효과를 내지 못했다. 업계에서는 대부분 프로젝트가 챗봇형 질의응답에 머물러 실제 업무 실행으로 이어지지 못하기 때문이라고 분석한다.
데이터이쿠(Dataiku) 코리아의 솔루션 엔지니어링팀 우재하 상무는 최근 ITWorld와 CIO Korea가 주최한 AI & 데이터 서밋 2025(AI & Data Summit 2025)’에서 이런 상황을 “마치 신입 직원이 단순한 지시를 수행하는 데 그치는 것과 같다”라고 비유하며 “사용자가 계속해서 지시를 내려야 하는 구조는 생성형 AI 기반 챗봇의 본질적인 제약을 벗어나지 못한다”라고 지적했다.
우재하 상무는 이런 한계를 극복할 해법으로 AI 에이전트를 제시했다. AI 에이전트는 단순히 질문에 답변하는 수준을 넘어, 자율적인 판단을 기반으로 복잡한 업무를 스스로 계획하고 실행하는 기술이다. 우 상무는 “조회와 분석뿐 아니라 실제 액션까지 수행할 수 있다는 점에서 기존 생성형 AI와 본질적으로 다르다. 이런 변화는 프로세스 자동화와 개인 업무 역량 강화는 물론, 비즈니스 연계 구조를 강화하는 방향으로 이어질 것”이라고 설명했다.
IDC는 ‘하이프에서 임팩트로(From Hype to Impact)’ 보고서에서 생성형 AI가 실험적인 도입 단계에서 벗어나 실제 비즈니스 성과를 만들어내는 소비 가능한 프레임워크로 자리 잡을 것이라고 분석했다. 이 소비 가능한 프레임워크가 바로 에이전트다. 보고서에 따르면, 향후 18개월 내 아시아·태평양 지역 기업 다수가 AI 에이전트를 운영 모델에 본격적으로 도입할 것으로 예상된다. 우 상무는 “그동안 충분히 활용하지 못했던 생성형 AI를 에이전트를 통해 실질적으로 비즈니스에 적용할 수 있을 것”이라고 말했다.
의사결정과 실행을 동시에 지원하는 AI 에이전트 작동 방식
우 상무는 데이터이쿠가 개발한 데모를 통해 AI 에이전트의 작동 방식을 소개했다. 생산 설비 관리자가 활용하는 에이전트 구축 사례로, 이 사례에서는 ‘스케줄링 매니저 에이전트(Scheduling Manager Agent)’가 슈퍼바이저 역할을 맡아 여러 전문 에이전트의 의견을 종합하는 기능을 한다. 스케줄링 매니저 에이전트 아래에는 ▲현장 관리자 ▲신뢰성 엔지니어 ▲생산 관리자 ▲유지보수 관리자 등 각 전문 영역을 담당하는 에이전트가 배치돼 있다.
데이터이쿠 코리아
데모에서는 관리자가 “현재 시점에서 유지보수와 관련해 확인해야 할 항목이 무엇인가”라는 질문을 던졌다. 그러자 스케줄링 매니저 에이전트가 질의를 분석해, 문제 해결에 필요한 4가지 전문가 역할 에이전트에 전달했다. 이후 스케줄링 매니저는 각 답변을 취합한 뒤, 종합적인 결론을 사용자에게 제시했다. 이때 슈퍼바이저 에이전트가 호출하는 전문가 에이전트는 질문 내용에 따라 달라진다.
우 상무는 “슈퍼바이저 에이전트가 질문의 맥락을 파악하고, 어떤 전문 에이전트가 관여해야 하는지를 스스로 판단해 질의를 분배하는 구조는 실제 기업 환경에서 매우 유용하다. 단순한 자동화가 아니라 상황에 맞는 의사결정뿐 아니라 실행까지 동시에 지원하는 방식”이라고 설명했다.
관리·통제 난관 현명하게 극복하기
이와 같은 멀티 에이전트의 효용은 분명하지만, 기업 환경에서 이를 구축 및 운영하는 일은 쉽지 않다. 우 상무는 “단일 에이전트 시스템은 구성이 비교적 단순하지만, 실제 기업 환경에서는 수십 가지 이상의 에이전트가 서로 연동돼야 효과적이다. 하지만 여러 에이전트를 구축하는 과정에서 관리·통제 문제가 발생하기 쉽다. 이처럼 다층적 요소가 얽히는 멀티 에이전트 환경에서는 확장성, 안전성, 미래 기술 대응력(future-proof)이라는 3가지 과제를 반드시 해결해야 한다”라며, 이를 위한 전략적 접근이 필요하다고 강조했다.
먼저 확장성에 대해 우 상무는 “에이전트가 많아질수록 LLM, 정보 검색 서비스, 데이터 쿼리, API 연계 등의 요소가 함께 늘어나 관리와 통제력이 약화된다”라며, 이를 해결하기 위해서는 “에이전트와 LLM, 검색 서비스 등의 도구를 카탈로그와 게이트웨이로 일원화하고 접근 제어·콘텐츠·비용·성능 등의 통합 관리를 지원하는 연합 서비스 형태의 LLM 메시(LLM Mesh) 아키텍처가 필요하다”라고 말했다.
안전성은 비용, 콘텐츠 품질, 데이터 검증을 아우르는 개념이다. 우 상무는 “AI 활용 과정에서 비용 초과나 품질 저하, 개인정보 유출을 막기 위해서는 가드레일 체계가 반드시 필요하다”라며 “다층적 보호 체계는 LLM 메쉬 아키텍처 위에서 구현돼 기업이 AI 에이전트를 안전하게 운영할 수 있도록 보장한다”라고 설명했다.
마지막으로 미래 기술 대응력은 빠르게 변화하는 기술 환경 속에서 새로운 도구와 프레임워크를 지속적으로 수용하고 적용할 수 있는 능력이다. 우 상무는 “에이전트 기술은 불과 몇 달 사이에도 새로운 프레임워크가 잇달아 등장할 만큼 변화 속도가 빠르다”라며 “초기에는 랭체인(LangChain)이나 랭그래프(LangGraph) 같은 도구로 시작해 곧 MCP, A2A 등 새로운 기술이 나오면서 기업은 어떤 기술을 언제 적용해야 할지 혼란을 겪고 있다”라고 설명했다.
많은 기업이 처음에는 오픈소스 기반으로 접근하지만, 시간이 지날수록 새로운 기술을 계속 도입하고 관리해야 하는 부담이 커진다. 우 상무는 “이런 신기술을 모든 기업이 개별적으로 따라잡기는 사실상 불가능하다”라며 “플랫폼 차원에서 새로운 기술을 흡수하고 관리해주는 체계가 필요하다”라고 강조했다.
데이터이쿠 코리아
모든 환경과 과제를 지원하는 범용 AI 플랫폼
우 상무는 이런 과제를 해결하기 위한 방안으로 데이터이쿠의 ‘유니버설 AI 플랫폼(Universal AI Platform)’을 제시했다. 이 플랫폼은 데이터 처리부터 모델 개발, 에이전트 구축까지 모든 단계를 하나의 파이프라인으로 통합해 지원하며, 예측형 AI와 생성형 AI 모두를 아우르는 구조다. 우 상무는 “ML옵스(MLOps) 도입이 실패한 많은 이유가 단일 플랫폼 부재 때문이었던 것처럼 에이전트도 중간 단계를 사람이 일일이 메우지 않고 단일 플랫폼에서 연결돼야 성공적으로 운영할 수 있다”라고 설명했다.
유니버설 AI 플랫폼은 에이전트 생성과 통제 2가지 축으로 기능한다. 개발자뿐 아니라 지식 노동자도 사용할 수 있는 노코드·로우코드 기반 생성 도구를 제공하고, 생성된 에이전트는 레지스트리에 등록해 관리한다. 동시에 모델 접근·라우팅·보안을 중앙집중적으로 제어하는 오케스트레이션 체계, 멀티 에이전트를 단일 UI에서 활용할 수 있는 환경, 비용·품질·리스크를 모니터링하는 거버넌스 기능도 지원한다.
우 상무는 “에이전트는 언제든 새로운 기술로 교체할 수 있도록 설계돼야 하며, 이를 통해 기업은 기술 변화 속에서도 안정적이고 유연하게 AI 전략을 이어갈 수 있다”라며 “빠르게 만드는 것도 중요하지만, 그 이전에 기존 데이터 처리와 AI 활용 전 과정을 아우를 수 있는 기반 플랫폼이 마련돼야 한다. 이런 역할을 수행하는 플랫폼을 활용하면 엔터프라이즈 생태계 전반에서 다양한 에이전트를 자유롭게 생성하고 통제할 수 있는 환경을 구축할 수 있을 것”이라고 말했다.
mia.kim@foundryco.com
