[베슬에이아이 웨비나] 에이전틱 AI 시대 기업의 LLM 운영 전략

지난 2025년 8월 27일, 베슬에이아이(VESSL AI)가 개최한 세 번째 공식 웨비나가 성공적으로 마무리되었습니다. 이번 웨비나는 에이전틱 AI 시대를 준비하는 기업 담당자와 AI 전략 수립을 고민하는 관계자들을 대상으로 '에이전틱 AI 시대 기업의 LLM 운영 전략'이란 주제로 진행되었습니다.

웨비나 개요

발표자: 안재만, CEO & Co-founder, VESSL AI
내용:
- 에이전틱 AI 시대에 AI 혁신을 원하는 기업들은 무엇을 준비해야하는지를 에이전트를 위한 LLM 파인튜닝부터 인프라 운영까지 관점에서 알려드립니다.
- VESSL AI팀이 준비하고 있는 제품 전략들, 솔루션들을 소개해 드립니다.
추천 대상:
- 에이전틱 AI 시대에 대비하여 성공적인 AI 프로젝트를 진행하고자 하는 AI 전략 기획자 및 의사결정자
- LLM 파인튜닝부터 인프라 운영까지 구체적인 AI 구축 전략을 고민하는 기술 리더 및 엔지니어
- 사내 AI 프로젝트를 효율적이고 안정적으로 운영하고 싶은 기업 내 AI·데이터팀

AI 에이전트랑 챗봇이랑 뭐가 다른가요?

AI 에이전트 VS. 챗봇

우리가 흔히 아는 챗봇이나 일반적인 LLM은 주로 질문에 답변하는 역할을 해요. 마치 말대답만 하는 친구 같다고 생각하면 쉬울 거예요. 하지만 AI 에이전트는 여기서 한 발 더 나아갑니다. 단순한 답변을 넘어 검색, 예약, 보고서 작성처럼 실제로 행동까지 옮길 수 있는 시스템이죠. 구체적인 목표가 주어졌을 때, AI 에이전트는 환경을 인식하고, 계획을 세우고, 직접 행동해서 목표를 달성할 수 있습니다.

오픈AI의 A practical guide to building agents 가이드에 의하면 에이전트는 네 가지 핵심 요소로 정의됩니다. 첫째, 모델(Model)은 AI 에이전트의 두뇌 역할을 하며, 사용자의 입력과 환경을 바탕으로 계획하고 실행하는 역할을 해요. 둘째, 인스트럭션 (Instruction)은 AI 에이전트가 어떤 행동을 할지에 대한 지침이나 규칙을 정의하는 부분이에요. 셋째, 툴(Tools)은 AI 에이전트가 외부 세계와 상호작용하는 데 사용하는 도구들이죠. 웹 검색이나 이메일 API처럼 다양한 도구를 활용해요. 이런 요소들을 종합해서 에이전트가 실제로 움직일 수 있는 실행 환경까지 정의한 것이 바로 에이전트(Agent)랍니다.

AI 에이전트 아키텍처 예시

블랙락의 AI 에이전트 아키텍처를 보면 더 이해하기 쉽습니다. 사용자가 "사업 추진 현황 보고서를 자동으로 작성해 줘"라고 입력하면, 유저의 정보, 채팅 기록, 접근 가능한 데이터 등 메타데이터와 함께 쿼리가 전달돼요. 여기서 모더레이터가 AI가 줄 답변을 컨트롤하고, 다양한 툴과 에이전트를 이용해 답변을 만들죠. 여러 지식 기반에서 지식을 가져와 통합해서 결과를 내는 방식이에요. 일반적인 챗봇이 단순히 질문에 대한 답변만 하는 것과 달리, AI 에이전트는 다양한 툴과 문서들을 종합하고 실행까지 하는 것이 큰 차이점이라고 할 수 있어요.

AI 프로젝트, 왜 95%나 실패하는 걸까요?

안타깝게도 우리나라뿐만 아니라 전 세계적으로 AI 프로젝트의 95%가 실패로 끝나는 경우가 많다고 해요. 왜 이렇게 많은 프로젝트가 실패하는 걸까요? 많은 기업들이 "AI를 안 하면 뒤처질 것 같다"는 생각에서 시작하는 경우가 많아요. "일단 뭐라도 AI로 해봐야겠다"는 마음으로 LLM을 도입하고, 회사 문서에 답변할 수 있는 시스템을 구축하기도 하죠.

하지만 이렇게 만들어진 AI 시스템은 아무도 사용하지 않는 경우가 대부분이에요. "몇십억 들여서 AI 시스템을 구축했는데 사용률이 떨어져서 임원들이 힘들어한다"는 소문도 흔하죠. 가장 큰 실패 원인은 명확한 비즈니스 목표 없이 "일단 AI를 도입해야 한다"는 생각에서 출발하기 때문이에요. 무엇을 해야 할지, 무엇이 좋아지는지에 대한 고민 없이 시작하는 경우가 많아서, 결국 AI 프로젝트의 95%가 실패로 이어진답니다.

성공하는 AI 프로젝트의 관리 포인트 3가지

MIT 미디어 랩에서는 성공하는 AI 프로젝트의 세 가지 조건을 제시했어요. 첫째, AI로 해결하고 싶은 명확한 비즈니스 문제와 ROI를 잘 정의해야 해요. 둘째, 이를 실행하기 위한 조직 전략과 외부 협력 시스템을 잘 정비하는 것이 중요하죠. 셋째, 단순히 도입하는 것을 넘어 내부 인력 및 시스템과 완벽하게 통합되고 문화적 통합까지 이루어져야만 성공할 수 있다고 합니다.

성공하는 AI 에이전트, 어떤 비결이 있을까요?

AI 에이전트 프로젝트 예시: 웨이페어

성공적인 AI 에이전트 구축의 대표적인 사례로 미국의 커머스 회사 웨이페어(Wayfair)를 들 수 있어요. 웨이페어는 고객 질문에 상담원들이 더 정확하고 빠르게 답변할 수 있도록 llm을 활용하는 문제를 해결하고자 했죠. 단순히 llm에 상품 데이터와 고객 데이터를 넣는 것만으로는 제대로 된 답변이 나오지 않거나, 업무에 사용하기 부족한 경우가 많았어요.

웨이페어는 상담원을 대체하는 대신 상담원을 보조하는 AI 시스템을 마련했어요. llm에 모든 대화 맥락, 상품 정보, 정책들을 반영해서 고객 경험을 강화하고 상담원 효율을 극대화했죠. 그 결과, 상담 처리 시간이 단축되고 응답 정확성과 고객 만족도가 높아지는 성과를 얻을 수 있었답니다.

웨이페어의 성공 비결은 크게 세 가지예요. 첫째, 명확한 비즈니스 목표 설정이 중요합니다. 단순히 "AI를 도입하면 좋다"가 아니라 "상담 처리 시간을 단축하고 전환율을 상승시키겠다"와 같은 구체적인 목표를 세워야 해요. 그리고 AI 에이전트가 이 목표를 달성할 수 있도록 지속적으로 학습시켜야 하죠. 둘째, 지속적인 학습 사이클 구축이 필수적이에요. LLM에 레그(RAG)를 붙이는 것만으로는 좋은 답변이 나오기 어렵기 때문에, 사용자 피드백을 바탕으로 "이런 상황에서는 이렇게 대답하면 안 된다"거나 "이런 문서를 참조해야 한다"는 식으로 지속적인 학습을 통해 시스템을 튜닝해야 해요. 셋째, 데이터 통합과 엔지니어링 및 UX 최적화가 중요해요. AI 에이전트가 우리 회사의 맥락을 이해하고, 사람들이 효율적으로 사용할 수 있도록 데이터 통합과 함께 엔지니어링, UX적인 접근이 동시에 이루어져야 해요. 무턱대고 큰 LLM을 사용하면 응답이 느리고 정확하지 않을 수 있습니다.

AI 에이전트, 더 똑똑하고 빠르게 만들려면 어떻게 해야 할까요?

AI 에이전트의 정확도와 속도, 비용 문제를 해결하는 것이 성공적인 프로젝트의 핵심이에요. 먼저 정확도를 높이기 위해서는 문제 정의에 맞게 QA하고 튜닝하는 과정이 필요해요. 웨이페어처럼 상담사의 피드백을 바탕으로 AI 답변을 수정하거나 채택하지 않은 경우를 학습시켜 튜닝 시스템을 만들어야 하죠. 단순한 RAG나 툴 콜링을 적용하는 것을 넘어, 문제 정의에 맞춰 데이터를 잘 구분하고 관리해야 해요. 또한, 툴 콜링의 경우 어떤 툴을 병렬로 호출할지, 캐시 레이어를 만들지 등 엔지니어링적인 고민이 필요해요.

나아가 파인튜닝과 멀티 LLM 조합도 중요합니다. AI 에이전트는 여러 LLM의 조합으로 이루어지는 경우가 대부분이거든요. 예를 들어, 사용자의 의도를 분류하는 작은 모델을 앞에 두고, 보고서 작성은 특정 LLM에, 웹 검색 분석은 다른 LLM에 맡기는 식이죠. 이렇게 다양한 태스크에 최적화된 여러 LLM을 조합하면 정확도뿐만 아니라 비용까지 컨트롤할 수 있답니다. 지속적인 피드백을 통해 시스템을 업데이트하는 것도 비즈니스 임팩트를 만들 수 있는 AI 시스템 구축의 필수 요소예요.

속도를 높이고 비용을 줄이는 것도 굉장히 중요해요. AI 에이전트가 응답하는 데 몇 분씩 걸린다면 사람들이 사용하기 어렵겠죠. 응답 시간을 최소화하기 위해 최적화된 LLM 서빙 플랫폼이 필요해요. 양자화(Quantization)이나 캐시(Cache)를 적용하고, 멀티 GPU 병렬화나 다이나믹 배칭 등을 통해 LLM 추론 과정을 최적화할 수 있어요. 또한, 모든 문제를 범용 모델 하나로 해결하려 하기보다, 특정 태스크에 잘 맞는 경량 모델(SLM)이나 목적 특화된 대형 모델을 활용하는 것이 응답 속도를 빠르게 개선하는 데 효과적이에요. 비용 측면에서는 모델 경량화와 GPU 사용 효율화, 그리고 서빙 인프라 최적화가 중요하답니다. 제한된 GPU 환경에서 리소스를 최적화해서 여러 문제들을 동시에 해결할 수 있도록 해야 해요.

AI 에이전트, 지속적으로 발전시키려면 어떻게 해야 할까요?

AI 에이전트 시스템은 한 번 만들고 끝나는 것이 아니라 지속적으로 운영하고 발전시켜야 해요. 이를 위한 세 가지 핵심 요소가 중요합니다.

첫째, 지속적인 데이터 업데이트 및 동기화가 필요해요. 새로운 데이터가 계속 들어오면 벡터 DB에 적절하게 반영하고, 고객 데이터나 최신 정책이 업데이트될 때마다 시스템에 지속적으로 동기화해야 해요. 이렇게 해야 AI 에이전트가 항상 최신 정보를 가지고 정확하게 응답할 수 있죠.

둘째, 서비스 인프라 안정화가 중요해요. 각 LLM들이 장애 없이 안정적이고 효율적으로 운영될 수 있도록 서비스 인프라를 안정화해야 합니다. GPU 오케스트레이션을 잘하고, 멀티 클라우드나 하이브리드 환경, 페일오버 등 이중화를 지원해서 llm들이 가장 안정적으로 동작하도록 만들어야 해요.

셋째, 지속적인 모니터링과 피드백 루프를 만들어야 해요. AI 에이전트가 툴을 어떻게 호출하는지, 어떤 실패가 발생하는지, 워크플로우는 어떻게 동작하는지 등을 모니터링해야 합니다. 또한, 에이전트 개발 과정을 버전 관리하고 데이터를 관리하는 등의 노력이 있어야만 성공적인 AI 에이전트 프로젝트를 만들 수 있어요. 이런 모니터링과 피드백을 통해 AI 에이전트의 성능을 끊임없이 개선해 나가는 것이 중요하답니다.

우리 회사의 AI 에이전트 개발, 어떻게 시작해야 할까요?

많은 기업들이 "AI를 해야 한다"는 생각에 일단 좋은 LLM 모델을 가져와서 레그(RAG)를 붙이는 방식으로 시작하지만, 대부분 실패해요. 가장 큰 이유는 명확한 유즈케이스가 정의되지 않았기 때문이에요. 어떤 비즈니스 문제를 AI로 해결하고 싶은지, AI가 어떤 식으로 행동하면 좋을지 명확하게 정의하는 것이 가장 중요해요.

이렇게 명확한 유즈케이스를 정의했다면, 다음으로는 멀티 LLM 및 툴 조합이 필요해요. 예를 들어, 계획 수립은 공개 LLM에 맡기고, 보고서 작성은 회사 데이터를 학습한 오픈소스 LLM에 맡기는 식으로 여러 LLM과 외부 툴들을 조합해서 시스템을 구성해야 하죠. 이런 시스템이 실제 사람이 사용하는 워크플로우에 적용될 수 있도록 만들어야 해요.

마지막으로, 이런 시스템이 지속적인 학습을 통해 발전하고, 다양한 에이전트 워크플로우를 조율할 수 있는 오케스트레이션 레이어로 만들어져야 합니다. 명확한 유즈케이스 정의, 멀티 LLM과 툴 조합, 그리고 지속적인 학습 및 오케스트레이션 레이어 구축은 기업의 AI 에이전트 도입을 위한 핵심 전략이자 생존 전략이라고 할 수 있어요.

아래는 베슬에이아이의 GPU, 모델, 에이전트에 대한 오케스트레이션을 표현한 장표입니다.