[베슬에이아이 웨비나] 프로덕션 AI Agent 구축을 위한 3가지 핵심 요소

지난 2025년 4월 9일, 베슬에이아이(VESSL AI) 가 개최한 두 번째 공식 웨비나가 성공적으로 마무리되었습니다. 이번 웨비나는 AI agent(에이전트) 구축에 관심 있는 기업 담당자와 AI 전략 수립을 고민하는 관계자들을 대상으로 '프로덕션 AI Agent 구축을 위한 3가지 핵심 요소'를 주제로 진행되었습니다.

웨비나 개요

• 발표자: ​​​전지환, Co-founder & CTO, VESSL AI
• 내용: ​VESSL AI가 실제 기업 환경에서 딥 리서치 시스템을 구축하며 마주했던 문제들과 이를 해결하기 위한 기술 전략을 구체적인 사례를 통해 살펴보고, ​이를 통해 조직이 빠르고 효율적으로 AI Agent를 성공적으로 도입할 수 있는 실질적인 방법론을 제시합니다.
• 추천 대상:
  • ​프로덕션 AI Agent 구축에 관심있는 AI 전략 담당자
  • ​​AI 도입 및 인프라 구축을 고민하는 기업 관계자
  • ​​기업 내 AI 프로젝트의 효율적 운영 및 관리에 관심 있는 분

AI 에이전트란 무엇인가?

우선, AI 에이전트는 단순한 챗봇 이상의 개념입니다. 외부 환경을 인식하고, 적절한 행동을 수행하는 시스템을 의미하며, 기업에서는 이 에이전트를 통해 고객 상담, 리서치, 이슈 트래킹 등 다양한 업무를 자동화하고 있습니다.

베슬에이아이(VESSL AI)가 제시한 대표적인 ai agent 활용 사례는 다음과 같습니다:

• 회의록을 기반으로 한 이슈 자동 관리
• 고객 상담 중 캘린더 자동 예약
• 딥 리서치 에이전트를 통한 보고서 자동 작성
  

특히 딥 리서치 에이전트는 실시간 검색 → 분석 → 최적화된 답변 제공의 사이클을 반복하며, 전통적 업무 프로세스를 대폭 단축시킬 수 있습니다.

프로덕션 AI 에이전트 구축의 3대 핵심 요소

VESSL AI의 전지환 CTO는 실제 구축 경험을 바탕으로, 프로덕션 환경에서 ai agent 를 성공적으로 안착시키기 위해 반드시 고려해야 할 3가지 핵심 요소를 소개했습니다. 바로 데이터, 평가 시스템, 그리고 툴콜링(tool-calling)입니다.

1. 데이터

단순히 데이터가 존재하는 것만으로는 충분하지 않습니다. AI가 사용할 수 있도록 비정형 데이터를 임베딩(embedding) 형태로 변환하여 벡터 데이터베이스에 저장하는 과정이 필요합니다.

비정형 데이터를 이해 가능한 형태로 변환하고, 이를 최적화하여 검색할 수 있도록 하는 과정이 AI Agent 구축의 핵심 데이터 과제입니다.

2. 평가 시스템

AI Agent의 성능을 유지하고 개선하기 위해서는 체계적인 평가 시스템이 필수적입니다.

• 에이전트 생성 결과에 대한 정량적, 정성적 평가 시스템 구축
• 루브릭스 기반 점수화를 통해 일관된 품질 관리
• 다양한 프롬프트 실험 및 결과 기록으로 최적 인스트럭션을 지속 발굴

"평가는 선택이 아닌 필수입니다. 평가 없이는 성능 개선도 없습니다."

3. 툴콜링 (Tool-calling)

툴(tool)은 AI Agent를 구성하는 핵심 요소입니다. 모델, 인스트럭션, 런타임, 그리고 툴이 함께 어우러져 하나의 에이전트를 이룹니다. 단순히 모델과 인스트럭션만으로는 제한적인 기능만 수행할 수 있으며, 다양한 툴의 도움을 받아야 진정한 AI Agent로 작동할 수 있습니다.

툴콜링(tool-calling)은 기업 내부 데이터베이스와 도구 API를 효과적으로 활용하는 것이 중요합니다. 엔터프라이즈 환경에서는 인트라넷 서비스 연동이 복잡하고, 각 API가 달라 도구 연결이 어려울 수 있습니다. 이 문제를 해결하기 위해 다양한 도구를 연결하고, 이를 쉽게 구현할 수 있는 방안을 마련하는 것이 필수적입니다.

• 다양한 외부 도구(API 등)와의 연결이 필수
• 검색 엔진, 데이터베이스, 캘린더, 메신저 도구 등을 연동해 기능을 확장
• 최근 등장한 MCP(모델 컨텍스트 프로토콜)로 도구 연동 복잡성을 대폭 해소

도구별 API 차이로 인한 복잡성을 해결하기 위해 등장한 것이 MCP(모델 컨텍스트 프로토콜) 입니다. MCP는 다양한 도구를 하나의 표준화된 방식으로 연결할 수 있게 하여, AI 에이전트 구축의 편의성을 크게 높였습니다. 하지만 MCP 사용 시에도 인증 정보 관리, 데이터 접근 통제, 도구 호환성 문제 등은 여전히 존재합니다. 또한 도구 사용 명세가 명확하지 않으면 모델이 의도치 않은 결과를 생성할 위험이 있습니다.

실제 VESSL AI의 구축 경험 공유: 딥 리서치 에이전트 사례

딥 리서치 에이전트는 베슬에이아이에서 직접 구축한 리서치용 ai agent입니다.
이 에이전트는 사용자의 질문을 기반으로 웹을 검색하고, 분석과 추가 질문을 통해 정제된 리포트를 작성합니다.

딥 리서치 에이전트 구축 과정에서는 다음과 같은 문제에 마주쳤습니다.

• 지식 저장소(repository) 구축의 효율성 & 문서 추출 방식 문제: 단순 PDF 추출로는 정보 검색 품질이 떨어짐. 사용자가 질문한 내용과 더 연관된 자료를 제공하기 위해서는 저장 방식, 인덱싱 방법, 검색 결과의 주입 방식이 매우 중요.
• 평가 시스템 미흡: 사람 눈으로만 결과 평가 시 오류가 많았음
• 도구 연결 복잡성: 엔터프라이즈 인트라넷 API 연결의 어려움

이러한 문제를 극복하기 위해 베슬에이아이는 벡터 DB(데이터베이스) 구축, 루브릭스 평가 체계 도입, MCP 적용 등 다양한 해결책을 시도했습니다.

AI Agent 도입을 위한 준비와 고려사항

AI Agent 도입 시 앞서 말씀드린 데이터, 평가 시스템, 툴콜링을 체계적으로 준비해야 합니다.
100% 정확성을 기대하기보다는 사용자 기대에 부응하는 방향으로 목표를 설정하고, 정량적 손익 분석을 통해 성공 가능성을 판단해야 합니다. 특히 다양한 인프라와 플랫폼을 조합해 최적의 AI Agent 환경을 구축하는 것이 중요합니다.

지속가능한 AI 도입과 운영을 고민하는 기업이라면, 보다 효율적으로 환경 구축을 도와주는 VESSL AI의 솔루션을 고려해 보세요!