파인튜닝(Fine-tuning)이란? - 뜻, 예시, 데이터셋 준비법

최근 기업들이 AI를 자체 업무에 최적화하려는 수요가 폭발적으로 늘면서 ‘파인튜닝(Fine-tuning, 미세조정)’에 대한 관심이 높아지고 있습니다.

파인튜닝(Fine-tuning)의 뜻과 장점

파인튜닝 뜻: 미세조정이란 무엇인가?

파인튜닝(Fine-tuning)이란, 이미 훈련이 되어 있는 대규모 언어 모델 (LLM)에 특정 데이터셋을 추가로 학습시켜 모델을 특정 작업이나 도메인에 알맞게 미세 조정하는 과정을 말합니다.

파인튜닝의 장점

특정 작업에 최적화:

범용 모델은 다양한 분야에 대해 기본적인 이해를 제공해주지만, 실제 서비스에서는 의료, 금융, 고객 서비스 등 특정 분야에 특화된 모델이 필요한 경우가 많습니다. 미세조정은 이런 서비스가 기존 훈련된 모델이 더 정확하고 연관성이 높은 작업을 하게 합니다.

신규 데이터 및 트렌드 반영:

최신 정보나 트렌드를 반영하여 기존 모델을 업데이트할 수 있어 서비스의 최신성과 정보성을 올릴 수 있습니다.

시간 및 자원 절약:

파인튜닝은 모델을 처음부터 학습시키는 데 필요한 시간과 자원을 줄일 수 있습니다. 사전 훈련된 모델을 세밀하게 조정하여 추론 지연 시간을 줄이고 특정 사용 사례에 모델을 더 효율적으로 적용하여 시장 진입 시간과 노동력을 줄일 수 있다는 강점이 있습니다.

파인튜닝의 방법

파인튜닝하는 법은 크게 5가지 절차가 필요합니다.

(1) 데이터셋 준비

파인튜닝을 위한 데이터셋을 수집하고 전처리합니다.

(2) 사전 학습 모델 선택 및 이해

준비된 데이터셋을 이용하여 사용하는 모델을 어떻게 바꿀지 파인튜닝 영역을 선정합니다.

(3) 하이퍼파라미터 설정

파인튜닝의 종류를 선택한 후에 학습률, 배치 크기, 에포크 수 등 하이퍼파라미터를 설정합니다.

(4) 학습

준비한 데이터셋으로 모델을 훈련시킵니다. 필요에 따라 위 과정을 반복하여 모델의 성능을 개선해 나가면 됩니다.

파인튜닝 종류

종류1: 파라미터 업데이트 범위 기준

우선 파인튜닝 종류는 파라미터 업데이트 범위에 따라 전체 파인튜닝(Full Fine-tuning) 또는 부분 매개변수 효율적 파인튜닝(PEFT)으로 크게 두가지가 있으며, 사전 학습 모델과 대상작업의 유사성과 적응력에 따라 선택합니다.

전체 파인튜닝 (Full Fine-tuning)이란?

전체 파인튜닝은 모델의 모든 매개변수를 업데이트하여 모델 전체를 새로운 데이터에 맞춰 재학습하는 방식입니다.
일반적으로 작업과 기존 학습된 모델의 차이가 크거나 모델의 높은 적응성이 필요할 때 사용합니다.
많은 컴퓨팅 자원과 시간이 필요하지만 그만큼 성능 향상이 큽니다.

매개변수 효율적 파인튜닝 (Parameter-Efficient Fine-Tuning, (PEFT))이란?

PEFT는 전체 파라미터가 아닌 일부(주로 0.1~1%)만 조정하는 최신 방식입니다.
대상 작업과 사전 학습된 모델 사이에 특정 유사성이 있거나 작업 데이터셋이 작은 경우에 가장 적합하며, 저장 공간 관리에도 유리합니다.
LoRA(Low-Rank Adaptation)는 대표적인 PEFT 기법으로, LLM의 가중치를 고정한 상태에서 추가적인 저차원 행렬만 학습해 적용합니다.

종류2 : 데이터 레이블 유무 기준

다음으로 파인튜닝은 사용되는 데이터셋의 유형에 따라 지도 파인튜닝(Supervised Fine-tuning)과 비지도 파인튜닝(Unsupervised Fine-tuning)이란 두 가지로 분류됩니다.

지도 파인튜닝 (Supervised Fine-tuning, SFT)이란?

지도 파인튜닝은라벨이 지정된 데이터셋을 사용해 사전 학습된 모델을 특정 목적에 맞게 조정하는 방법입니다.
지도 파인튜닝 목적:
- 범용 LLM을 맞춤형으로 최적화하여 정확도, 효율성, 비즈니스 가치를 극대화
지도 파인튜닝 특징
- 입력값과 그에 대응하는 정답 (예: 질문과 답변) 으로 구성
- 구조화된 형태로 모델이 올바른 출력을 학습하도록 도움
- 고품질 데이터셋 확보가 성능 향상의 핵심

비지도 파인튜닝 (Unsupervised Fine-tuning, UFT)이란?

비지도 파인튜닝 정의는 라벨이 없는 원시 데이터셋을 활용해 모델을 추가 학습시키는 방법입니다.
비지도 파인튜닝 목적:
- 데이터의 고유한 패턴을 모델이 스스로 학습하게 하여 언어 이해력 강화, 도메인 적응
비지도 파인튜닝 특징
- 대량의 도메인 텍스트로 모델의 배경 지식을 최신화
- 신규 데이터를 반영해 모델 성능 개선

이처럼 SFT는 정답이 명확하게 정해진 상태에서 데이터로 정밀하게 조절하는 방면, UFT는 라벨 없이도 데이터의 특성을 최대한 활용해서 모델을 자연스럽게 적응시킵니다.

파인튜닝과 검색증강생성(RAG)와의 차이점

검색증강생성(Retrieval-Augmented Generation, RAG)와 미세조정(fine-tuning)은 둘 다 LLM을 보완하는 기술입니다. RAG는 LLM 자체는 그대로 두고 검색으로 보완하는 반면, 미세조정은 LLM의 가중치를 직접 업데이트합니다. 이때, 미세조정 및 RAG 아키텍처를 같이 사용하여 모델 보완하는 경우도 있습니다.

RAG와 Fine-tuning 중 무엇을 사용할지 선택할 때 고려할 점들이 있습니다.

작동 속도와 단순함

파인튜닝은 실시간으로 검색하는 RAG와 달리 추가적인 검색 과정 없이 바로 답변을 생성하므로, 응답 속도가 빠르고 시스템 구조가 단순합니다.

팀의 기술 역량

미세 조정을 하는데에 전반적으로 자연어 처리(NLP), 딥러닝, 모델 구성, 데이터 재처리, 평가 등에 더 많은 기술과 시간이 소요될 수 있습니다.

정적 데이터 vs 동적 데이터

파인튜닝의 경우 시간이 지나면 정보의 최신성을 위해 데이터를 추가로 재학습시켜야 하지만, 검색증강생성의 경우 선택한 소스에서 실시간으로 정보를 검색 후 제공하도록 LLM에 컨텍스트를 주어, 추가 재학습의 필요 없이 정확하고 관련성 높은 결과를 얻을 수 있습니다.

비용 효율

검색증강생성은 파인튜닝보다 주로 시간과 비용이 덜 들지만 품질이 더 떨어질 위험이 있습니다.

파인튜닝(Fine-tuning)과 전이학습(Transfer Learning) 차이

파인튜닝과 전이학습의 차이는 파인튜닝이 사전 학습된 모델을 추가 학습해 특정 작업에 더 정밀하게 맞춘다는 점에 있습니다.

전이 학습(Transfer Learning)은 기존에 학습된 모델의 대부분 레이어를 고정한 채로 새로운 작업에 필요한 출력층 등 일부만 새로 학습하는 데 중점을 둡니다. 즉, 사전 학습된 모델을 특징 추출기로 사용하고 최종 결과를 내는 부분만 조정하는 방식입니다.

반면 파인튜닝은 전이 학습의 한 형태로, 사전 학습된 모델을 추가로 학습시켜 특정 작업에 더 정밀하게 맞추는 과정입니다.

두 방법 모두 학습 시간을 줄이고 데이터셋이 적어도 높은 성능을 낼 수 있다는 장점이 있으며, 실제 전이 학습으로 충분한지, 또는 파인튜닝도 필요한지는 작업 난이도와 데이터 양, 리소스 상황에 따라 달라집니다.

파인튜닝 데이터셋 준비

파인튜닝 데이터셋 준비 방법

(1) 목적에 맞는 데이터 수집

파인튜닝 모델이 해결할 작업에 맞는 데이터를 수집합니다.

(2) 데이터 형식 맞추기

일반적으로 입력(프롬프트)과 출력(응답)이 함께 구성된 예제를 만듭니다. GPT 모델의 경우, OpenAI등에서 요구하는 JSONL 형식(각 줄마다 하나의 JSON 객체)이나 messages 구조(system, user, assistant 역할 구분)을 사용합니다.

(3) 전처리

데이터의 불필요한 부분을 제거하고 오류를 수정합니다. CSV, JSON, HTML, SQL 등 다양한 원본 데이터도 도구를 이용하여 정제합니다.

(4) 데이터셋 크기 확보, 다양성, 품질 관리

최소 10MB 이상 또는 10개에서 수십개 이상의 예제를 준비합니다. 이는 모델과 작업 난이도에 따라 다릅니다.
다양한 유형의 예제를 포함하면 범용성이 높아집니다.
정확하고 신뢰할 수 있는 데이터만 사용한 것을 검증합니다.

(5) 파일 등록 및 파인튜닝 실행

데이터셋을 완성하면 플랫폼에 업로드하고 파인튜닝을 진행합니다.

파인튜닝 데이터셋 준비시 주의사항 및 팁

데이터 품질이 성능에 직접 영향:

부정확하거나 불완전한 데이터로 학습한 모델은 잘못된 답변을 생성할 수도 있습니다.

데이터 다양성 부족 시 한계:

예제의 유형이 한정되어 있으면 모델이 다양한 상황에 잘 대응하지 못할 수 있습니다.

형식 오류 주의:

JSONL 등 요구 형식에 맞지 않는 데이터를 제공하는 경우 파인튜닝 과정에서 에러가 발생할 수 있습니다.

라이선스 및 저작권 확인:

데이터셋의 상업적 이용이 제한되는 경우도 있기 때문에 외부 데이터셋 사용 시 라이선스 조건을 반드시 확인해야 합니다.

테스트하는 경우:

학습에 사용하지 않은 별도의 테스트 데이터를 준비해서 객관성 있게 평가하는 것이 중요합니다.

이처럼 데이터셋을 준비한 후 파인튜닝 작업을 할때 더 정교하고 배포하기 쉽게 하기를 원하신다면 이 영상을 참고해 보시기를 바랍니다!

파인튜닝 예시

보편적으로 OpenAI에서 제공해주는 GPT 모델을 원하는 용도, 데이터, 또는 형식에 맞게 파인튜닝하여 개인에게 맞춤화된 GPT 모델을 구성하는 경우가 많습니다.

GPT 파인튜닝은 언제 할까?

GPT 파인튜닝은 아래 3가지 경우에 진행하면 좋습니다.

작업이 아주 복잡해서 예제를 통해 모델을 학습시키는 것이 더 효율적일 때
GPT 모델 답변의 스타일이나 형식 등 질적인 측면을 조정하고 싶을 때
프롬프트에 녹이기 어려운 새로운 기술이나 태스크를 수행하기 위해

GPT 파인튜닝에 필요한 학습 데이터

Chat completions API의 구조를 따르는 것이 GPT 파인튜닝 데이터셋을 준비할 때에 핵심 요소이며, 데이터 중 몇 예시는 꼭 프롬프팅만으로 시도했을때 실패한 경우가 있어야 합니다.

이때 최소 10개의 예시가 필요하며 큰 변화는 50-100개의 예시를 제시했을때 생긴다고 합니다.

이러한 특징 때문에, GPT 파인튜닝은 단순한 Prompt 엔지니어링만으로는 해결할 수 없는 요구사항을 충족할 수 있다는 강점이 있으며, 특히 실무에서는 특정 요구사항들을 모델에 내장해 더 짧고 저렴한 요청으로 고품질 답변을 얻기 위해 파인튜닝을 선택합니다.

정리하자면, 파인튜닝(Fine-tuning)은 범용 LLM을 목적에 맞게 미세조정해 정확도와 일관성을 극대화하는 핵심 기술로, 빠르게 진화하고 변화하는 AI 시장에서 아주 중요한 전략으로 발전하고 있습니다.

베슬에이아이는 복잡한 파인튜닝과 배포, 모니터링까지 한 번에 처리할 수 있는 안정적인 LLMOps 플랫폼을 제공합니다.

파인튜닝에 대한 니즈가 있으시다면 아래 버튼을 클릭해 문의주세요!

참고 자료:

https://www.mygreatlearning.com/blog/what-is-fine-tuning/

https://www.ibm.com/kr-ko/think/topics/parameter-efficient-fine-tuning

https://kr.appen.com/blog/fine-tuning/

https://blog.vessl.ai/en/posts/mlops-world-llmops

https://blog.vessl.ai/ko/posts/scatterlab-llm-tuning

https://www.redhat.com/ko/topics/ai/rag-vs-fine-tuning

인사이트