MLOps 플랫폼 VESSL - 서버리스 모드(Serverless Mode) 기능 출시

베슬에이아이(VESSL AI)팀이 인프라를 손쉽게 관리할 수 있도록 설계된 새로운 기능인 '서버리스 모드'를 출시하였습니다. 서버리스 모드는 확장성을 향상시키고, 배포를 간소화하며, 콜드 스타트(최소 17초, 평균 5분)를 최소화하고, 사용하지 않을 때는 0으로 확장하여 비용 효율성을 개선합니다.

지금 바로 서버리스 모드가 포함된 Llama 3.1을 사용해보고, YouTube에서 데모 동영상을 확인하세요.

VESSL 서버리스 모드 개발 배경

베슬에이아이(VESSL AI)팀은 오랫동안 프로비저닝 모드(Provisioned Mode)를 통해 고객이 추론(inference) 과정을 세밀하게 제어할 수 있도록 지원해 왔습니다. 이 모드는 사용자의 요구 사항을 충족하지만, 가끔씩 간단한 추론 작업을 위한 보다 간소화된 솔루션에 대한 수요가 증가하고 있음을 인지했습니다. 이러한 배경에서 새로운 서버리스 모드를 개발했습니다.

서버리스 모드를 만나보세요

VESSL AI에서 서버리스 모드를 사용하면 머신 러닝 모델을 원활하고 손쉽게 배포할 수 있습니다. 이 기능을 사용하면 인프라를 관리할 필요 없이 모델 추론을 수행할 수 있습니다.

MLOps 플랫폼의 문제점

현재 VESSL 프로비저닝 모드 및 유사한 MLOps 플랫폼의 가장 큰 문제는 사용자가 실제로 사용한 리소스에 대해서만 비용을 지불하고자 한다는 점입니다. 하지만 기존 설정에서는 서버가 필요하지 않을 때에도 서버를 계속 실행해야 합니다. 이상적으로는 시스템을 사용하지 않을 때는 0으로 확장하여 요청이 들어올 때만 리소스를 할당하고 그 이후에는 리소스가 없는 상태로 돌아가는 것이 좋습니다.

VESSL의 프로비저닝 모드는 많은 추론 작업에 필요한 사용자 정의 가능한 환경을 제공하지만, 특히 추론 요구 사항이 변동하는 운영 상황에서는 유연성이 떨어질 수 있습니다.

VESSL 서버리스 모드(Serverless Mode) 특징 5가지

이러한 문제를 해결하기 위해 VESSL AI는 다음 사항에 중점을 두어 서버리스 배포 환경을 개선했습니다.

- 스케일 투 제로(scale-to-zero) 기능 구현
- 비용 효율성을 보장하면서 사용성 극대화
- 불필요한 기능을 제거하여 확장 프로세스 간소화
- 백엔드 리소스 필요성 감소
- 콜드 스타트 시간 최소화

VESSL 서버리스 모드(Serverless Mode) 장점 5가지

1. 저렴한 비용 - 스케일 투 제로로 비용 효율화

서버리스 모드는 필요에 따라 리소스와 환경을 즉시 할당하여 비용 효율성을 극대화합니다. 쓰는 만큼 지불하는(pay-as-you-go) 가격 정책을 사용하면 사용한 리소스에 대해서만 비용을 지불하므로 예산 친화적인 확장성을 보장합니다. 사용하지 않을 때는 시스템이 0으로 확장되고 요청이 있을 때만 활성화되므로 상당한 비용 이점을 제공합니다.

2. 간편함 - 자동 확장

확장 프로세스를 최적화하기 위한 추가 기능 없이도 워크로드 수요에 따라 실시간으로 모델을 확장할 수 있습니다. 다양한 GPU 리소스와 리소스 관리 메커니즘을 갖춘 VESSL 관리 클러스터 덕분에 MLOps 플랫폼 VESSL이 자동으로 GPU 할당을 관리하고 유휴 시간을 줄여줍니다.

3. 빠르고 간소화된 배포

최소한의 구성만 필요하므로 기술적 배경에 관계없이 누구나 쉽게 배포할 수 있습니다. 사용자는 복잡한 구성을 처리하지 않고도 번거로움 없이 배포할 수 있습니다.

4. 안정성과 적응성 - 높은 가용성 및 복원력

기본 제공 메커니즘을 통해 모델이 항상 작동하고 장애에 대한 복원력을 보장합니다. 사용자가 시작 버튼을 누르는 순간부터 워크로드가 가동될 때까지 평균 17초의 시작 시간으로 서비스 온라인화 지연을 최소화합니다. 다른 이미지를 가져오는 경우에도 프로세스가 평균 5분밖에 걸리지 않아 배포를 빠르고 효율적으로 진행할 수 있습니다. 강력한 백엔드 인프라와 결합하여 콜드 스타트를 효과적으로 완화하고 서비스 가용성을 높게 유지합니다.

가장 좋은 점은 서버리스 모드라는 단일 기능을 통해 비용 효율성, 간소화된 배포, 고가용성의 이점을 모두 누릴 수 있다는 점입니다.