“데이터와 실무 현장에서 확인한 AI 내재화의 성공 해법” AI & 데이터 서밋 2025

CIO Korea와 ITWorld가 주최한 ‘AI & 데이터 서밋 2025(AI & Data Summit 2025)’가 9월 3일 서울 잠실 롯데월드 호텔 크리스탈볼룸에서 개최됐다. 이번 행사는 데이터를 기반으로 한 AI 전략부터 인프라와 운영 모델 최적화, 애플리케이션 개발 혁신, 산업별 적용례를 다루며 데이터를 AI 전략에 활용하는 실질적인 방안을 공유했다.

IDC는 향후 3년간 AI 지출이 국내 디지털 기술 지출보다 1.6배 빠르게 증가해 2027년까지 1,400억 달러 규모의 경제 효과를 창출할 것으로 내다봤다. 이는 단순 기술 도입을 넘어, 기업의 핵심 운영과 전략에 AI를 내재화하는 움직임이 본격화되고 있음을 보여준다. 연사들은 각자의 산업과 경험을 바탕으로 AI가 이미 기업 운영 전반을 재편하고 있으며, 데이터 관리와 인프라 혁신 없이는 AI 효과를 체감하기 어렵다는 점을 공통적으로 강조했다.

신한은행 이영수 AI 연구소장은 AI & 데이터 서밋 2025 오프닝 키노트에서 금융 산업의 AI 도입 전략을 소개하며 버티컬 AI와 에이전트 AI의 결합을 핵심으로 꼽았다. 이 소장은 법률·의료·금융 등 도메인별 특화 AI가 성과를 내고 있는 사례를 소개하면서, JP모건·마스터카드·DBS 등 글로벌 금융사가 멀티에이전트 시스템을 통해 자산관리와 리스크 관리, 대출 심사 업무의 효율성을 높이고 있다고 설명했다. 이어 “AI는 단순히 업무를 대체하는 것이 아니라 전문가 수준의 의사결정을 보조하며 비용 절감과 정확성을 동시에 가져오는 파트너”라고 말했다.

이영수 소장은 특히 “프롬프트 엔지니어링 시대는 저물고 이제는 컨텍스트 엔지니어링이 중요하다”라며, AI가 제대로 업무를 수행하기 위해서는 질문에 답하는 능력보다 도구 활용, 과거 기록, 업무 맥락을 동적으로 주입하는 아키텍처 설계가 필요하다고 강조했다. 또한 AI 에이전트의 성공 조건으로 자율성, 실행력, 메모리를 꼽으며, 금융 업무는 완전 자율보다는 통제 가능한 범위 내에서 제한적 자율성을 부여하는 ‘골디락스 존’이 필요하다고 분석했다. 마지막으로 이 소장은 “AI 기반 자동화는 비용 효율을, 증강은 새로운 가치를 만든다”라며 두 가지 접근법을 결합하면 생산성과 혁신을 동시에 확보할 수 있다고 전했다.

Foundry

데이터 전략 세션에서 데이터이쿠(Dataiku) 우재하 상무는 “많은 기업이 생성형 AI를 도입했지만 Q&A 수준에 머무르며 성과를 체감하지 못했다”라며 이런 한계를 극복하려면 에이전트 AI를 통해 업무를 계획·실행까지 맡길 수 있어야 한다고 강조했다. 이어 제조 현장의 설비 유지보수 데모를 사례로 들어, 슈퍼바이저 에이전트가 요청을 받아 유지보수·생산·신뢰성 담당 등 전문 에이전트들과 협업해 답을 도출하는 방식을 설명했다. 이를 통해 프로세스 자동화와 개인 생산성 강화는 물론, 장기적으로 비즈니스 모델 자체가 재편될 것이라고 전망했다.

또한 우 상무는 AI 에이전트를 기업 환경에서 제대로 활용하기 위한 조건으로 확장성, 안전성, 미래 대응성을 제시했다. 다수 에이전트가 협업하는 환경에서는 도구·API·서비스 연계를 중앙에서 관리해야 하고, 품질·보안·비용까지 통합적으로 통제할 수 있어야 한다는 것이다. 특히 오늘날처럼 빠르게 변하는 기술 환경에서 지속 가능한 운영을 위해서는 데이터 처리, ML 학습, 에이전트 구축을 단일 파이프라인에서 지원하는 유니버설 AI 플랫폼이 필요하다고 강조했다.

이어진 세션에서 인젠트 김성태 상무는 DX·AX 전환 시대에 적합한 데이터 인프라로 포스트그레SQL 기반 엑스퍼DB(eXperDB)를 제시했다. 그에 따르면 포스트그레SQL은 전 세계 7,000여 기업에서 사용되는 오픈소스 DB로, 확장성·유연성·활발한 커뮤니티 생태계가 강점이다. 다양한 익스텐션을 통해 이기종 DB 연계, ML 적용, 벡터 DB 전환까지 가능해 기업이 변화하는 요구에 대응할 수 있다. 김 상무는 “데이터베이스는 단순한 기술 선택이 아니라 AI 전환의 토대이자 전략적 자산”이라며, 안정성과 운영 효율성을 갖춘 인프라 구축이 중요하다고 강조했다.

이어 김 상무는 심평원의 120TB 데이터 이관, 4코어에서 4,000코어까지 확장된 SSG닷컴의 대규모 운영, BC카드의 페이북 서비스가 모놀리식 아키텍처에서 MSA로 전환한 사례 등 구체적인 구축 경험을 공유했다. 김 상무는 “15년간 350개 이상의 프로젝트 경험을 통해, 운영 효율성을 높이고 고객의 요구사항에 맞춘 맞춤형 지원을 제공해 왔다”라며, 엑스퍼DB가 AI·에이전트 시대에 적합한 데이터 인프라로 자리매김하고 있음을 강조했다.

인프라 최적화 세션에서는 레드햇 신용환 이사가 발표를 이어갔다. 신 이사는 “이제 AI 경쟁의 초점은 모델 학습이 아니라 추론 운영 효율화에 맞춰지고 있다”라고 말했다. 2022년 이후 업계가 정확도 향상보다 추론 비용 최적화에 집중하고 있으며, 이를 뒷받침하는 핵심 기술로 vLLM을 소개했다. vLLM은 CPU와 GPU를 효율적으로 배분하고, 프리필·캐시 디코딩 같은 과정을 최적화해 성능을 높이는 오픈소스 프로젝트로, 메타와 딥시크 등 기업이 활용하고 있다. 신 이사는 “vLLM은 특정 가속기나 플랫폼에 종속되지 않고 어디서든 AI를 안정적으로 운영할 수 있도록 돕는다”라고 설명했다.

레드햇은 최근 AI 스타트업 뉴럴 매직(Neural Magic)을 인수하며 CPU 기반 추론 최적화 역량을 강화했고, 이를 통해 디즈니·월마트 등 고객사가 안정적으로 vLLM을 도입할 수 있도록 지원하고 있다. 신 이사는 “레드햇은 리눅스·쿠버네티스에 이어 AI 인프라까지 기업 운영 환경에 맞는 플랫폼을 제공한다”라며, 최근에는 vLLM 기반 인퍼런싱 서버를 공개해 어떤 환경에서도 단순하고 효율적인 AI 운영을 지원하고 있다고 설명했다.

레노버(Lenovo) 조윤환 상무와 뉴타닉스(Nutanix) 마이클 신 전무는 공동 발표를 통해, 엣지부터 클라우드까지 이어지는 공유형 추론 인프라의 필요성을 강조했다. 먼저 마이클 신 전무는 대부분 기업이 데이터 과학자와 ML옵스(MLOps) 엔지니어를 확보하지 못한 채 클라우드 비용 불확실성에 직면해 있다고 분석했다. 조윤환 상무는 GPU 풀링과 공유 엔드포인트 관리 플랫폼을 통해 비용 효율성과 보안성을 동시에 확보할 수 있다고 설명했다. 두 발표자는 “AI 인프라를 단순화하고 안정화하는 것이 곧 기업 경쟁력 강화의 지름길”이라고 입을 모았다.

특히 조윤환 상무는 레노버가 추진 중인 글로벌 파트너십 전략을 소개하며, “엣지 단의 데이터를 클라우드와 원활히 연계하는 하이브리드 AI 인프라 모델이 곧 주류가 될 것”이라고 전망하며, 이를 통해 기업이 규제 준수와 데이터 거버넌스를 동시에 해결할 수 있다고 덧붙였다.

HPE 아루바 네트워킹(HPE Aruba Networking) 박정무 매니저는 AI옵스(AIOps)와 에이전틱 AI를 결합한 네트워크 자율화 전략을 제시했다. 박 매니저는 “운영자의 43%가 여전히 트러블슈팅에 시간을 소모하고 있다”라며, 인증 오류나 IP 충돌 같은 문제를 AI 기반 셀프힐링(Self-healing) 네트워크로 해결할 수 있다고 말했다.

박 매니저는 “네트워크 운영의 핵심은 단순 장애 대응이 아니라 예측과 선제적 대응”이라고 강조하며, AI옵스를 통해 장애 발생 전 징후를 감지하고 자동 조치하는 방식을 설명했다. 또한 이런 접근이 기업의 비즈니스 연속성을 보장하는 핵심 전략으로 자리 잡고 있다고 분석했다.

애플리케이션 개발 영역에서는 아웃시스템즈(OutSystems) 최지수 상무와 이콜트리(EcoleTree) 배준균 대표가 발표를 이어갔다. 최지수 상무는 로우코드를 “단순한 보조 도구가 아닌 새로운 개발 패러다임”으로 정의하며, 생성형 AI와 결합한 멘토 기능을 통해 개발 전 과정을 자동화할 수 있다고 말했다. 배준균 대표는 글로벌 제조사 사례를 들어, 복잡한 IT 환경을 단순화하고 민첩성을 확보하는 데 로우코드와 AI가 핵심 전략이 되고 있다고 강조했다.

특히 배준균 대표는 “빠르게 변화하는 시장 환경에서 개발 속도 자체가 경쟁 우위가 된다”라며, 로우코드와 AI가 결합하면 소규모 팀도 엔터프라이즈 수준의 애플리케이션을 단기간에 구축할 수 있다고 강조했다. 이는 스타트업부터 대기업까지 개발 역량 민주화를 촉진할 수 있는 전략이라는 점에서 의미가 깊다.

Foundry

데이터독(Datadog) 박현범 이사는 AI 신뢰성을 확보하는 핵심 조건으로 LLM 관찰가능성(Observability)을 제시했다. 박 이사는 “잘못 설계된 AI는 허위 정보 생성과 데이터 유출로 이어질 수 있다”라며, 윤리성·신뢰성·사람 중심 설계를 ‘굿 AI(Good AI)’의 조건으로 꼽았다. 이를 위해 데이터 품질, 실행 환경, 보안 이벤트를 통합적으로 관리할 수 있는 관찰가능성 도구가 필수라고 설명했다.

박 이사는 “이제는 단순한 모니터링을 넘어, AI의 의사결정 과정을 추적 가능하게 만드는 투명성이 필요하다”라고 강조하며 관찰가능성이 기업의 규제 준수와 보안 통제를 지원하는 동시에, 내부 이해관계자에게 AI 활용의 신뢰 기반을 제공한다고 말했다.

클로징 키노트에서는 산업별 사례가 소개됐다. 먼저 엔씨소프트 AI 자회사 NC AI의 김민재 CTO는 게임·패션·유통으로 확장되는 멀티모달 콘텐츠 제작 사례를 소개했다. 김 CTO는 텍스트, 이미지, 3D, 음성에 걸친 제작 전 과정에 AI가 투입돼, 창작 효율과 맞춤형 제작이 동시에 이뤄지고 있다고 설명했다.

발표에서는 바르코(Varco) 아트·사운드·보이스 AI 도구를 활용한 이미지 생성, 사운드 합성, AI 더빙 사례를 소개하며 AI가 크리에이터의 창작 파트너로 자리잡고 있음을 보여줬다. 김민재 CTO는 “AI는 단순히 효율을 높이는 도구가 아니라, 콘텐츠 제작 패러다임 자체를 바꾸는 힘”이라며, 글로벌 시장에서 한국 콘텐츠 산업의 경쟁력을 높일 열쇠가 될 것이라고 내다봤다.

Foundry

마지막으로 유한킴벌리의 배현정 디지털 테크놀로지 솔루션 센터장은 소비재 제조업에서의 AI 트랜스포메이션 여정을 공유했다. 배 센터장은 한때 시장 점유율이 급락했던 하기스 브랜드를 데이터 기반 리디자인과 소비자 분석으로 회복한 사례를 언급하며, AI가 브랜드 리바이탈라이제이션의 핵심 동력이 되고 있다고 설명했다. 또한 AI 기반 마케팅 콘텐츠, QR 기반 리워드 시스템, AI 피팅룸 등 다양한 시도를 통해 소비자 경험을 혁신하고 있다고 소개했다.

배현정 센터장은 “AI가 일반화되는 순간, 기업의 경쟁력은 얼마나 독창적인 경험을 소비자에게 제공하느냐로 판가름 난다”라고 강조하며 인재 확보, 인프라 투자, 규제 대응 등 현실적 한계를 언급하면서도, 소비자 중심의 혁신 전략이 결국 기업 생존을 좌우할 것이라고 강조했다.
dl-ciokorea@foundryco.com