RAG vs. Fine-tuning: How to Choose the Right Method

What is Retrieval-Augmented Generation (RAG)?

Overview

Retrieval-Augmented Generation (RAG)는 Large Language Model (LLM)에 특정 Dynamic DB를 연결하는 아키텍처 프레임워크로, 2020년 Meta에서 제안했다. 이를 통해 LLM은 최신의 신뢰할 수 있는 정보를 접근하고 통합하여 응답과 추론의 정확성을 향상시킬 수 있다.

RAG 개발은 다음과 같은 복잡한 과정이 포함될 수 있으며 모두 도메인에 맞춰 최적화된다.

• prompt engineering
• vector databases (e.g., Pinecone, chroma DB, OpenSearch)
• embedding vectors
• semantic layers
• data modeling
• data orchestration
• data pipeline

RAG의 동작 방식은 아래와 같다:

1. Query processing: 사용자가 시스템에 쿼리를 입력하면, 해당 쿼리가 RAG 검색 체인 메커니즘의 출발점이 된다.
2. Data retrieval: RAG 시스템은 DB에서 해당 쿼리와 관련한 데이터를 검색한다. 이 과정은 Vector DB에서 문맥적으로 가장 관련 있는 정보를 매칭하는 복잡한 알고리즘을 사용한다.
3. Integration with the LLM: 관련도가 가장 높은 데이터가 검색이 되면, 이를 프롬프트에 사용자의 쿼리와 결합하여 LLM에 입력한다.
4. Response generation: 시스템은 LLM의 사전 지식과 검색된 데이터가 제공하는 문맥을 활용하여 쿼리의 특정 문맥에 맞춘 정확한 응답을 생성한다.

위와 같이 RAG 아키텍처 개발은 데이터 팀에게 복잡한 작업이며, LLM을 보강하는 컨텍스트 데이터를 제공하기 위한 데이터 파이프라인 구축이 필요하다. 하지만, RAG를 올바르게 구축하면 AI 기반 데이터 서비스에 엄청난 가치를 부여할 수 있다.

비용적으로 저렴하고, 외부의 데이터를 지속적으로 새롭게 가져올 수 있으므로 데이터의 최신성 문제를 해결할 수 있다. 또한, ‘근거 있는 생성’을 하기 때문에 LLM의 태생적 문제 중 하나인 Hallucination에 대한 대비도 가능하다.

When to Use RAG?

대부분의 상업 활용 사례에서는 RAG의 더 안정적이고 확장가능하며, 높은 신뢰성으로 Fine-Tuning보다 더 적합하다.

보안과 데이터 프라이버시를 강화할 수 있도록 지원

RAG를 사용하면 보안 데이터가 안전한 DB 환경 내에 유지되며 엄격한 접근 제어가 가능하다. 반면, Fine-Tuning의 경우 데이터가 모델의 학습셋에 포함되어 더 넓은 접근 범위에 노출될 가능성이 있지만, 이에 상응하는 성능을 제공받지 못할 수도 있다.

비용 효율적이며 뛰어난 확장성

LLM을 Fine-Tuning하는 것은 많은 시간과 컴퓨팅 자원이 필요하다. RAG는 모델 파라미터가 아닌 일차 데이터(first-party data)를 응답 생성에 활용함으로써, 컴퓨팅 비용을 줄이고 훈련 단계 자체를 생략하는 방법이다. 또한, 학습셋을 만들고 라벨링하는 과정이 필요없어 인적 자원 비용도 절감할 수 있다.

신뢰할 수 있는 결과 제공

AI의 가치는 신뢰할 수 있는 응답을 제공하는 능력에 있다. RAG는 최근 큐레이션된 데이터셋을 지속적으로 참조하여 출력의 정확성을 높이는데 뛰어나다. 문제가 발생한 경우에도 데이터팀이 응답의 출처를 쉽게 추적하여 출력이 어떻게 형성되었는지, 데이터 오류가 발생한 지점을 명확히 파악할 수 있다.

결론

RAG는 다음과 같은 상황에서 적용하면 효과적이다:

• Leveraging general knowledge: 대화, 분석 등 모델의 강력한 기본 능력을 유지하고자 할 때
• Minimizing forgetting: 추가 학습이 모델의 다양한 일반적 능력을 손상시킬 위험이 있을 때
• Utilizing external knowledge: 도메인 특화 지식을 검색해서 보강하는 것이 유용할 때
• Flexible Knowledge: 지식이 자주 변경되어 재학습보다는 유연한 데이터베이스가 선호될 때

---

What is Fine-Tuning?

Fine-Tuning은 생성형 AI 개발의 대안적인 접근 방식으로, LLM을 더 작고 특화된 데이터쌍으로 훈련하고 새로운 데이터에 맞춰 모델의 파라미터와 임베딩 벡터를 조정하는 방법이다. 즉, 모델을 특정 분야의 미세한 뉘앙스와 용어에 맞춰 조정함으로써, 모델이 해당 분야의 특정 작업에서 더 우수한 성능을 발휘하도록 돕는다.

제로 베이스에서 LLM을 개발하는 것보다는 진입 장벽이 낮지만, Fine-Tuning 과정에서 모델 드리프트(Model Drift)¹와 같이 예상치 못한 문제를 맞닥뜨리게 되는 경우도 빈번히 발생하기에 정교한 작업을 할 수 있는 ML 전문가가 필수적이다.

상업용 AI에서 RAG와 Fine-Tuning의 최종 목표는 AI 모델을 통해 더 큰 비즈니스 가치를 창출하는 것으로 동일하다. 하지만, RAG가 기존 LLM에 DB의 내용을 추가하여 보강하는 방식이라면, Fine-Tuning은 모델 자체를 특정 도메인에 맞게 조정하여 더 깊이 있는 특색을 만든다.

When to Use Fine-Tuning?

가용한 자원에 따라, 생성형 AI 프로젝트의 가치를 높이기 위해 RAG의 대안으로 Fine-Tuning을 선택할 수 있다.

Fine-Tuning은 모델을 특정 도메인의 미세한 뉘앙스와 용어에 맞춰 조정함으로써, 해당 분야의 작업에서 더 나은 성능을 발휘하도록 돕는다. 특히 법률 문서나 고객 지원 티켓과 같이 세부적인 프롬프트에 특정 톤이나 스타일로 응답해야 하는 도메인 특화 상황에서 효과적이다. 또한, 정보 편향이나 반복, 불일치 같은 문제를 극복하는 데도 적합하다.

RAG와 마찬가지로, Fine-Tuning도 우선적으로 데이터를 Fine-Tuning 과정에 활용할 수 있도록 효과적인 데이터 파이프라인 구축이 필요하다.

---

How to Choose Between RAG vs. Fine-Tuning

RAG와 Fine-Tuning 중 어느 것을 선택할지는 사용 사례와 가용 자원에 따라 결정해야 한다. 대부분의 경우 RAG가 더 적합하지만, RAG와 Fine-Tuning이 상호 배타적인 것은 아니며 Fine-Tuning이 항상 실용적인 해결책이 아닐 수도 있다. LLM을 훈련하려면 많은 시간, 컴퓨팅 리소스, 라벨링 작업이 필요하지만, RAG 또한 복잡한 프로세스를 요구한다.

OpenAI의 Fine-Tuning 가이드 문서에서도 강조하듯이, Fine-Tuning은 시간과 노력이 많이 필요하므로 신중한 접근이 필요하다. 가이드에서는 Fine-Tuning을 바로 적용하기 앞서 Prompt Engineering, Prompt Chaining, Function Calling과 같은 다양한 방법을 먼저 시도해 볼 것을 권장한다. 범용 모델이 초기에는 성능이 낮아 보일 수 있지만, 프롬프트를 잘 설계했을 때 더 나은 결과를 얻거나 그럴 가능성이 높아진다. 또한, 학습용 데이터셋과 환경 구축이 필요한 Fine-Tuning 보다 프롬프팅과 다른 방법을 통한 반복적인 개선이 더 빠른 피드백을 제공할 수 있다고 한다.

RAG vs. Fine-Tuning을 위한 질문 리스트

1. 애플리케이션이 모델 외부 데이터 리소스에 접근할 필요가 있는가? 파인튜닝된 모델 은 특정 시점까지의 데이터만 학습되기 때문에, 실시간 외부 데이터 접근이 필요한 경우 RAG가 더 효과적이다.
2. 모델의 행동, 라이팅 스타일, 도메인 특화 지식을 수정/개선해야 하는가? LLM의 특정 뉘앙스, 톤, 용어 등을 맞추려면 Fine-Tuning이 유리하다. RAG는 데이터베이스에서 정보를 검색할 수는 있지만, 도메인 특화 지식이나 언어적 스타일 등을 모델 자체에 반영하는 것은 어렵다.
3. 할루시네이션 억제가 얼마나 중요한가? Fine-Tuning은 특정 도메인 데이터를 추가 학습하여 할루시네이션 문제를 다소 줄일 수 있지만, 새로운 입력에 여전히 취약하다. 반면, RAG는 검색된 증거를 바탕으로 답변을 생성하기 때문에 할루시네이션 방지에 본질적으로 유리하다.
4. 라벨링된 데이터를 얼마나 확보할 수 있는가? Fine-Tuning 모델의 성능은 관련 도메인 데이터의 양과 품질에 크게 의존한다. 충분한 양질의 데이터를 확보할 수 없는 경우 RAG가 더 적합하다.
5. 데이터의 변동성은 어느 정도인가? 데이터가 자주 변동된다면 RAG가 더 유리하다. 벡터 데이터베이스를 갱신하는 것이 모델을 추가 학습하는 것보다 더 간편하기 때문이다.
6. 애플리케이션의 의사 결정 과정을 얼마나 알고 있어야 하는가? 파인튜닝된 모델은 의사 결정 과정이 ‘블랙박스’와 같다. RAG 방식은 검색과 생성이라는 두 단계로 구성되어 있어 의사 결정 과정을 투명하게 추적할 수 있다. 높은 수준의 책임성을 요구하는 애플리케이션에는 RAG 방식이 더 적합하다.

Fine-Tuning은 RAG와 비교했을 때 다음과 같은 단점이 있다:

• Forgetting: 파인튜닝된 모델은 종종 사전 학습에서 익힌 능력을 잊거나 일부 기능을 상실할 수 있다. 예를 들어, 금융 분야에 특화된 데이터로 Fine-Tuning을 거친 LLM은 일반적인 대화 작업을 잘 처리하지 못할 수도 있다.
• Training data dependence: 모델의 성능은 가용한 학습셋의 양과 질에 크게 의존한다. 그러나, 양질의 데이터를 수집하는 것은 매우 비싸다.
• Lacks external knowledge: 오직 학습셋에 있는 내용만 알고, 실세계의 지식은 부족하다.
• Not customizable: 파인튜닝된 모델을 재학습하는 것은 매우 비싸다.

이와 반대로, RAG 시스템은 다음과 같은 장점이 있다:

• 모델 자체가 수정되는 것이 아니기 때문에 사전 학습에서 익힌 능력을 유지할 수 있다.
• 데이터베이스와 같은 외부 지식 소스를 활용하여 LLM에 맞춤형 정보를 추가할 수 있다.
• LLM을 재학습하지 않고도 지식 소스를 변경할 수 있다.
• LLM을 재학습하지 않으므로 데이터 요구 사항이 낮다.

Consideration with different model sizes

Fine-Tuning과 RAG의 선택 기준에는 model size도 고려해야 한다.

Large Language Models

GPT-4와 같이 수조 개의 파라미터를 가진 대형 모델의 경우, RAG가 Fine-Tuning보다 일반적으로 더 적합하다.

• Retains pre-training capabilities: Fine-Tuning은 GPT-4 규모에서 습득한 능력(대화, 번역, 분석 등)을 잊어버릴 위험이 있다.
• Utilizes external knowledge: GPT-4나 Llama-2는 큐레이션된 지식이 부족할 수 있지만, RAG는 외부 데이터베이스를 통해 이를 보완한다.
• Avoids catastrophic forgetting: Fine-Tuning이 LLM의 다재다능함을 손상시킬 수 있다.
• Flexible knowledge sources: RAG 지식 리소스는 비싼 재학습 없이 변경할 수 있다.

Fine-Tuning 작업이 사전 학습과 매우 유사하거나 암기가 필요한 경우가 아니라면, RAG가 더 적합하다.

Medium Language Models

수억 개의 파라미터를 가진 Llama 2 7B, Falcon 7B, Alpaca 7B와 같은 중간 규모 모델의 경우, RAG와 Fine-Tuning 모두 활용가능한 옵션이다.

• Fine-Tuning은 문서를 기반으로 하는 질문 응답처럼 암기에 크게 의존하는 태스크에 적합할 수 있다.
• RAG는 관련 지식을 검색하여 도메인 특화 생성 또는 분류 작업에서 유리하게 작용할 수 있다.

Small Language Models

수천에서 수백만 개의 파라미터를 가진 Zephyr, Phi2, Orca와 같은 소형 커스텀 모델의 경우, RAG보다 Fine-Tuning이 더 적합한 경우가 많다.

• 작은 모델은 이미 대형 모델의 일반적 역량이 부족하다.
• Fine-Tuning을 통해 도메인 특화 데이터로 훈련하면 해당 지식을 직접적으로 주입할 수 있다.
• 사전 지식이 적어 기억 손실 위험이 거의 없다.
• 필요한 경우, 새로운 데이터로 작은 모델을 쉽게 재학습할 수 있다.

지식의 폭을 유지할 필요가 없다면, 작은 모델에는 RAG 보다 Fine-Tuning이 더 적합하다.

Frequently Asked Questions

Is RAG better than Fine-Tuning?

RAG는 보안성, 확장성, 비용 효율성 면에서 대부분의 상업용 사례에 더 적합하다. RAG는 보안과 데이터 프라이버시를 강화하고, 컴퓨팅 리소스 비용을 절감하며, 최신 큐레이션된 데이터셋을 활용하여 신뢰할 수 있는 결과를 제공한다. 하지만, 무조건적으로 RAG가 Fine-Tuning보다 더 좋다는 것이 아닌, 본문의 내용을 전체적으로 고려해야 한다.

What is the difference between RAG and Fine-Tuning vs. prompt engineering?

• RAG: LLM에 동적이고 큐레이션된 데이터베이스에 대한 접근을 추가하여 출력 품질을 개선하는 방식
• Fine-tuning: LLM을 더 작은 특화 데이터셋으로 훈련해 특정 작업에 맞춰 모델의 파라미터를 조정하는 방법
• Prompt-engineering: 모델이나 데이터 소스를 변경하지 않고 쿼리를 설계해 더 나은 응답을 이끌어내는 기술

Can RAG and Fine-Tuning be used together?

자원이 충분하다면 두 방법을 모두 활용하는 것이 분명한 이점이 있다. 모델을 훈련해 가장 적절한 데이터셋에서 필요한 정보를 효과적으로 검색하도록 할 수 있기 때문이다. 우선, 구체적인 요구사항을 고려한 후, 이해관계자에게 최대 가치를 제공할 수 있는 방향으로 결정하는 것이 좋다.

어느 방법을 선택하든 AI 애플리케이션 개발에는 데이터를 저장소에서 모델로 전달할 데이터 파이프라인이 필요하다. AI가 제대로 작동하려면 모델이 의존하는 데이터 파이프라인 품질과 신뢰성에 집중하는 것이 중요하다.

RAG와 Fine-Tuning이 효과를 발휘하려면 신뢰성 있는 데이터가 필수적이다. 이를 위해 팀은 데이터의 신뢰성을 보장하고, 근본 원인을 식별하며, LLM에 영향을 미치기 전에 문제를 신속하게 해결할 수 있는 확장 가능한 데이터 가시성 솔루션을 활용해야 한다.

Is rag cheaper than fine-tuning?

RAG는 기존 데이터를 활용하여 추가적인 훈련 단계를 없애기 때문에, 일반적으로 Fine-tuning 보다 비용 효율적이다. 반면, Fine-tuning은 모델을 새로운 데이터로 훈련하는 데 많은 시간과 컴퓨팅 자원이 필요하여 더 많은 리소스를 소모한다.

What is the difference between rag and model fine-tuning?

RAG는 LLM에 큐레이션된 데이터베이스 접근을 추가하여, 필요한 정보를 동적으로 검색해 응답을 생성할 수 있게 한다. 반면, Fine-tuning은 특정 라벨 데이터셋으로 모델을 훈련해 특정 작업에서의 성능을 향상시키기 위해 모델의 파라미터를 조정하는 과정이다. 즉, Fine-tuning은 모델 자체를 수정하는 반면, RAG는 모델이 접근할 수 있는 데이터를 확장하는 방식이다.

When to use rag vs fine-tuning?

최신의 신뢰할 수 있는 정보를 LLM 출력에 통합해야 하며, 확장 가능하고 안전하며 비용 효율적인 솔루션이 필요할 때는 RAG를 사용한다. 특정 작업에서 더 나은 성능이 필요하고 특화된 데이터셋으로 모델을 훈련해야 할 때는 Fine-tuning을 활용한다.

What is the difference between rag, fine-tuning, and embedding?

RAG(Retrieval-Augmented Generation)은 LLM을 큐레이션된 데이터베이스에 연결하여 신뢰할 수 있는 정보를 통합함으로써 출력 품질을 향상시킨다. Fine-tuning은 특정 작업에서의 성능을 향상시키기 위해 특화된 데이터셋으로 모델의 파라미터를 조정하는 과정이다. 임베딩은 데이터를 저차원 공간에 표현하여 의미적 관계를 포착함으로써 모델이 문맥과 의미를 더 잘 이해할 수 있도록 돕는다.

Footnotes

1. Model Drift - 모델을 배포한 이후 시간이 지남에 따라 모델 성능이 저하되는 현상 ↩