DPO(강화학습 알고리즘)

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

초록 (Abstract)

대규모 비지도 언어 모델은 폭넓은 지식과 일부 추론 능력을 익히지만, 원하는 방식으로 행동을 정밀하게 통제하는 일은 여전히 어렵다. 기존 정렬 방법은 사람이나 AI가 붙인 선호 데이터를 모아 응답 쌍의 우열을 학습하고, 그 선호를 모사하는 보상 모델을 따로 만든 다음, 원래 언어 모델이 그 보상을 최대화하도록 강화학습으로 다시 미세조정하는 식으로 진행된다. 문제는 이 RLHF 절차가 복잡하고 불안정하다는 데 있다. 보상 모델 학습, 정책 샘플링, PPO 하이퍼파라미터 조정, KL 제약 관리가 한 파이프라인에 얽혀 있어 구현과 튜닝 비용이 크다.

이 논문은 RLHF의 보상 모델을 다른 방식으로 매개변수화하면, 해당 보상에 대응하는 최적 정책을 닫힌 형태로 바로 꺼낼 수 있다는 점에 주목한다. 그 결과 제안된 Direct Preference Optimization, 즉 DPO는 보상 모델을 따로 학습하지 않고도 선호 데이터만으로 정책을 직접 최적화한다. 목적 함수는 결국 단순한 이진 분류 손실로 정리되며, 학습 중 정책 샘플링 루프나 강화학습 업데이트가 필요 없다.

실험은 세 가지 축에서 진행된다. 통제된 IMDb 감성 생성에서는 참 보상 함수가 주어지는 상황에서 보상과 KL 사이의 효율적 전선을 비교했고, Reddit TL;DR 요약과 Anthropic Helpful-Harmless 단일 턴 대화에서는 GPT-4와 사람 평가를 통해 응답 품질을 비교했다. 논문이 보고한 결과에 따르면 DPO는 감성 제어에서 PPO보다 더 좋은 reward-KL 전선을 만들었고, TL;DR 요약에서는 기준 요약 대비 약 61% 승률을 기록해 PPO의 최고점 약 57%를 넘어섰다. 대화 실험에서도 DPO는 데이터셋의 선택 응답을 실제로 넘어서는 거의 유일한 계산 효율적 방법으로 나타났다. 핵심 주장은 단순하다. 언어 모델은 선호 최적화 관점에서 암묵적 보상 모델로 다시 해석될 수 있으며, 그 해석을 이용하면 RLHF의 표준 목표를 강화학습 없이 직접 풀 수 있다.

1. 서론 (Introduction)

대규모 언어 모델은 방대한 말뭉치에서 지식과 패턴을 흡수한다. 문제는 그 지식 전체를 그대로 모사하는 것이 항상 바람직하지 않다는 점이다. 모델이 흔한 오답을 이해하는 능력은 필요하지만, 실제 답변에서는 그 오답을 반복하지 않길 원한다. 코딩 모델이라면 흔한 버그를 이해해야 하지만, 코드 생성 시에는 드물더라도 더 좋은 코드 스타일과 정답 패턴 쪽으로 편향되길 원한다. 이처럼 모델의 방대한 능력 공간에서 무엇을 끌어내고 무엇을 억제할지 고르는 일이 정렬의 본질이다.

기존에는 이 문제를 주로 RLHF로 풀었다. 먼저 지도 미세조정(SFT)으로 기본 응답 능력을 다듬고, 그 모델이 생성한 응답 쌍에 대해 사람의 선호를 수집한 뒤, 그 선호를 맞히는 보상 모델을 학습한다. 마지막으로 PPO 같은 강화학습 알고리즘으로 정책을 보상 최대화 방향으로 다시 밀어 올린다. 이 접근은 강력하지만, 언어 모델 학습 파이프라인에 강화학습 특유의 불안정성과 비용을 그대로 들여온다. 샘플링 비용이 크고, KL 제약과 보상 정규화, 값 함수 추정, PPO 세부 하이퍼파라미터가 성능과 안정성을 크게 흔든다.

이 논문의 출발점은 단순하다. RLHF가 사실상 푸는 문제는 보상 최대화와 참조 정책에서의 이탈 억제를 동시에 만족하는 정책 찾기인데, 그 최적 정책은 이미 닫힌 꼴로 쓸 수 있다. 그렇다면 굳이 보상 모델을 따로 만들고 RL로 다시 최적화할 필요가 없지 않은가. 저자들은 Bradley-Terry 선호 모델을 바탕으로, 보상 함수를 정책의 로그 확률비로 다시 써서 선호 데이터에 대한 최대우도 문제를 곧바로 정책 공간으로 옮긴다. 이렇게 얻은 손실이 DPO다.

이 논문이 남긴 기여는 세 갈래다. 첫째, RLHF의 표준 목적을 정책의 단순한 분류 손실로 바꾸는 이론적 재매개변수화를 제시한다. 둘째, 이 재매개변수화가 표현력을 잃지 않는다는 점, 다시 말해 적절한 보상 동치류 전체를 그대로 표현할 수 있다는 점을 보인다. 셋째, 6B 이하 언어 모델 규모의 감성 제어, 요약, 단일 턴 대화 실험에서 DPO가 PPO 기반 RLHF와 맞먹거나 더 나은 성능을 보인다고 보고한다.

 

Figure 1. 기존 RLHF는 선호 데이터로 보상 모델을 학습한 뒤 강화학습으로 정책을 다시 최적화하고, DPO는 선호 데이터에서 바로 정책을 업데이트한다.

 

그림 1의 메시지는 논문 전체를 요약한다. RLHF 쪽은 preference data -> reward model -> RL policy라는 2단계 구조를 갖고, DPO 쪽은 preference data -> final LM으로 바로 이어진다. 논문이 강조하는 단순화는 단지 구현 편의가 아니라, 같은 목적을 더 직접적으로 푼다는 주장에 기반한다.

2. 관련 연구 (Related Work)

관련 연구는 크게 네 축으로 묶인다. 첫 번째 축은 대규모 자기지도 언어 모델과 instruction tuning이다. GPT 계열, PaLM, FLAN, LaMDA, LLaMA 같은 모델은 사전학습만으로도 강한 일반 능력을 보였고, 사람이 쓴 지시-응답 데이터로 미세조정하면 사용성이 더 좋아진다는 흐름이 형성되었다. 이 맥락에서 선호 학습은 instruction tuning 다음 단계의 정렬 방법으로 자리 잡았다.

두 번째 축은 선호 데이터를 활용하는 RLHF 계열 연구다. Christiano 등과 Ziegler 등은 사람의 선호로 보상 모델을 만들고 RL로 정책을 조정하는 구조를 제안했고, OpenAI의 InstructGPT와 요약 RLHF 연구는 이 파이프라인이 실제 언어 모델 정렬에 효과적임을 보였다. 이 논문은 그 흐름을 부정하지 않는다. 오히려 같은 목적식을 유지한 채, 그 목적을 푸는 계산 절차를 더 단순하게 바꾸려 한다.

세 번째 축은 선호 기반 강화학습과 contextual dueling bandit, preference-based RL 같은 일반 프레임워크다. 여기서는 절대 보상 대신 상대 선호나 순위를 가지고 정책을 학습한다. 다만 전통적인 PbRL은 대개 잠재 보상 함수를 먼저 추정한 뒤 정책을 최적화하는 2단계 절차를 유지한다. DPO는 이 지점에서 다르다. 잠재 보상을 분리해 학습하지 않고, 정책 자체를 암묵적 보상 표현으로 쓰는 단일 단계 접근을 택한다.

네 번째 축은 RL을 쓰지 않는 정렬 혹은 대안적 최적화 기법이다. 논문은 f-divergence minimization, reward-weighted regression, unlikelihood training 같은 방법들과 DPO를 비교한다. 특히 단순히 선호된 응답의 우도를 올리고 비선호 응답의 우도를 내리는 나이브 목적은 언뜻 그럴듯하지만, KL 제약을 반영하는 동적 가중이 없어서 실제 언어 생성에서는 쉽게 붕괴한다는 점을 뒤에서 실험으로 보여 준다.

3. 배경 (Preliminaries)

논문은 표준 RLHF 파이프라인을 세 단계로 정리한다. 먼저 SFT 단계에서 사전학습 모델을 고품질 데이터로 미세조정해 기본 정책 π_SFT를 만든다. 다음 보상 모델링 단계에서는 같은 프롬프트 x에 대해 두 개의 응답 y1, y2를 생성하고, 사람은 그중 더 나은 응답을 골라 y_w ≻ y_l | x 형태의 선호 데이터를 만든다. 마지막 RL 단계에서는 학습된 보상 모델을 최대화하면서도 원래 참조 정책 π_ref에서 너무 멀어지지 않도록 정책을 다시 최적화한다.

선호 모델로는 Bradley-Terry(BT) 모델이 널리 쓰인다. 이 모델에서는 응답 y1이 y2보다 선호될 확률을 잠재 보상 r*(x, y)의 지수 함수 비율로 표현한다.

p*(y1 ≻ y2 | x) = exp(r*(x, y1)) / (exp(r*(x, y1)) + exp(r*(x, y2)))

이 식의 뜻은 단순하다. 절대 보상값 자체보다 두 응답의 보상 차이가 선호 확률을 결정한다는 것이다. 그래서 보상 모델 학습도 결국 이진 분류 문제처럼 쓸 수 있다.

L_R = - E_(x, y_w, y_l ~ D) [ log σ(r_φ(x, y_w) - r_φ(x, y_l)) ]

보상 모델을 만든 뒤 정책은 다음과 같은 KL 제약 보상 최대화 문제를 푼다.

max_π  E_[ r_φ(x, y) - β D_KL( π(y|x) || π_ref(y|x) ) ]

여기서 β는 얼마나 보수적으로 참조 정책에 붙어 있을지를 정하는 계수다. β가 크면 참조 정책을 더 강하게 따르고, 작으면 보상을 더 적극적으로 쫓는다. RLHF 실전에서 KL 제약이 중요한 이유도 여기에 있다. 보상 모델이 신뢰할 수 있는 분포 밖으로 너무 멀리 나가면 품질이 급격히 나빠질 수 있기 때문이다.

4. 직접 선호 최적화 (Direct Preference Optimization)

4.1 DPO 목적식 유도 (Deriving the DPO Objective)

DPO의 핵심은 RLHF의 KL 제약 보상 최대화 문제의 해가 이미 닫힌 꼴로 존재한다는 사실에서 시작한다. 일반 보상 함수 r(x, y)에 대해 최적 정책은 다음처럼 쓸 수 있다.

π_r(y | x) = (1 / Z(x)) · π_ref(y | x) · exp(r(x, y) / β)

여기서 Z(x)는 정규화 상수다. 이 식을 뒤집으면 보상 함수를 정책의 로그 확률비로 다시 표현할 수 있다.

r(x, y) = β log( π_r(y | x) / π_ref(y | x) ) + β log Z(x)

중요한 포인트는 Bradley-Terry 모델이 보상값의 차이만 보기 때문에, 두 응답을 비교할 때는 β log Z(x)가 정확히 상쇄된다는 점이다. 그러면 선호 확률을 보상 모델이 아니라 정책과 참조 정책의 로그 확률비만으로 쓸 수 있다. 그 결과 정책 π_θ를 직접 학습하는 DPO 손실이 나온다.

L_DPO = - E_(x, y_w, y_l ~ D) [
  log σ( β log(π_θ(y_w|x) / π_ref(y_w|x))
       - β log(π_θ(y_l|x) / π_ref(y_l|x)) )
]

이 식의 의미는 선명하다. 선호된 응답 y_w가 참조 정책에 비해 얼마나 상대적으로 더 가능해졌는지, 비선호 응답 y_l이 얼마나 상대적으로 덜 가능해졌는지를 직접 최적화한다. 보상 모델을 따로 두지 않았지만, 사실상 정책 자체가 β log(π_θ / π_ref) 형태의 암묵적 보상을 들고 있는 셈이다.

4.2 DPO 업데이트가 실제로 하는 일 (What the DPO Update Does)

DPO의 그래디언트는 선호된 응답의 로그확률을 올리고 비선호 응답의 로그확률을 내린다. 하지만 그 강도는 모든 예제에서 같지 않다. 저자들은 이 차이를 동적 중요도 가중으로 해석한다. 암묵적 보상 r̂_θ(x, y) = β log(π_θ(y|x) / π_ref(y|x))를 두면, 현재 모델이 잘못된 순서를 더 강하게 믿고 있을수록 그 예제의 업데이트가 커진다.

이 가중이 중요한 이유는 나이브한 확률비 목적이 쉽게 퇴화하기 때문이다. 논문은 부록에서 unlikelihood 방식이 요약과 대화에서 의미 없는 반복 토큰을 뱉는 사례를 보여 준다. DPO는 같은 방향의 갱신을 하되, KL 제약과 선호 강도를 반영한 형태로 조정되어 그런 붕괴를 줄이려 한다.

4.3 DPO 파이프라인 (Practical Pipeline)

실전 DPO는 비교적 단순하다. 먼저 참조 정책 π_ref가 생성한 응답 쌍과 선호 레이블로 오프라인 선호 데이터셋 D = {(x, y_w, y_l)}를 준비한다. 그 다음에는 같은 참조 정책을 고정한 채, 현재 정책 π_θ가 DPO 손실을 최소화하도록 학습한다. 공개 선호 데이터셋을 재사용할 수 있다는 점도 실용적이다. 논문은 SFT 모델이 주어지는 경우 π_ref = π_SFT로 두고, SFT 모델이 없는 경우에는 선호된 완성만으로 간단한 supervised fit를 돌려 참조 모델을 만든다.

5. DPO의 이론 분석 (Theoretical Analysis of DPO)

5.1 언어 모델은 암묵적 보상 모델이 된다 (Your Language Model Is Secretly a Reward Model)

이 논문에서 가장 오래 남은 문장은 제목에도 들어간 “언어 모델은 사실상 보상 모델이다”라는 주장이다. 정확히 말하면, DPO는 보상 함수를 β log(π / π_ref) 꼴로 다시 쓸 수 있다는 점을 이용한다. 여기서 중요한 전제는 보상 함수의 절대 크기가 아니라 응답 간 차이가 선호를 결정한다는 점이다.

저자들은 먼저 두 보상 함수가 r'(x, y) = r(x, y) + f(x) 관계를 만족하면 같은 동치류에 속한다고 정의한다. 프롬프트에만 의존하는 항 f(x)를 더하거나 빼도, Bradley-Terry나 Plackett-Luce 같은 선호 모델에서는 응답 사이 보상 차이가 그대로이므로 선호 분포가 달라지지 않는다. 더 나아가 KL 제약이 붙은 RL 문제의 최적 정책도 달라지지 않는다. 즉, 선호 학습 관점에서는 개별 보상 함수보다 보상 동치류가 본질이다.

이제 핵심 정리가 나온다. 적절한 참조 정책 π_ref와 β > 0가 주어지면, Plackett-Luce 계열에서 가능한 모든 보상 동치류는 r(x, y) = β log(π(y|x) / π_ref(y|x)) 형태로 표현할 수 있다. 이 말은 DPO의 재매개변수화가 표현력을 희생하지 않는다는 뜻이다. 정책을 직접 학습해도, 원래 RLHF가 다루던 보상 클래스 전체를 잃지 않는다.

5.2 왜 actor-critic RLHF가 흔들리기 쉬운가 (Instability of Actor-Critic Algorithms)

논문은 PPO 계열 RLHF가 흔들리는 이유를 제어를 추론으로 보는 관점에서 다시 읽는다. 정책이 사실상 KL(π_θ || π*)를 줄이는 방향으로 움직인다고 보면, 실제 최적화에는 보상뿐 아니라 정규화 항, 다시 말해 soft value에 해당하는 보정이 함께 들어가야 한다. 이 보정이 빠지면 그래디언트 분산이 커지고, 값을 따로 근사하면 그 값 함수 학습 자체가 또 다른 불안정 요소가 된다.

기존 RLHF 실전은 이런 문제를 보상 정규화나 baseline으로 완화한다. 반면 DPO의 재매개변수화에서는 그 정규화가 로그 확률비 안에 이미 녹아 들어가 있다. 그래서 별도의 reward head, value head, PPO clipping, 샘플링-업데이트 반복을 운영하지 않고도 같은 목적을 바로 최적화할 수 있다는 것이 저자들의 해석이다. 논문의 메시지는 “강화학습이 항상 나쁘다”가 아니라, 적어도 이 오프라인 선호 최적화 문제에서는 RL을 거치지 않아도 된다는 쪽에 가깝다.

6. 실험 (Experiments)

이 섹션의 질문은 두 가지다. 첫째, DPO가 정말 RLHF의 KL 제약 목적을 잘 최적화하는가. 둘째, 이론상 단순한 손실이 실제 선호 데이터셋과 더 큰 모델에도 통하는가. 논문은 이를 위해 통제된 감성 생성, 실제 사람 선호가 붙은 요약, 그리고 실사용 대화에 가까운 단일 턴 대화까지 세 축을 고른다.

실험 설정 (Experimental Setup)

설정	controlled sentiment generation	summarization	single-turn dialogue
입력 x	IMDb 리뷰 prefix	Reddit 포스트	사용자 질의
출력 y	긍정 감성 리뷰 이어쓰기	포스트 핵심 요약	도움이 되는 단일 턴 응답
데이터	IMDb [24] + 감성 분류기 기반 합성 선호	Reddit TL;DR [43] + Stiennon 등 [40]의 선호	Anthropic Helpful-Harmless [1]
참조/기본 모델	GPT-2-large SFT	GPT-J SFT	Pythia-2.8B에서 Preferred-FT로 참조 모델 구성
평가	참 reward와 KL 전선	GPT-4 승률, 사람 평가	GPT-4 승률

IMDb 실험은 통제된 비교를 위해 사람이 아니라 사전학습 감성 분류기가 선호를 생성한다. 논문은 siebert/sentiment-roberta-large-english를 참 보상으로 쓰고, gpt2-large를 기본 언어 모델로 사용한다. 프롬프트는 IMDb 리뷰에서 2~8 토큰 길이의 prefix이며, 25,000개 prefix마다 4개 완성을 샘플링해 총 6개의 선호 쌍을 만든다. RLHF용 reward model은 gpt2-large에서 초기화하고 3 epoch 학습했다. PPO 실험에서는 step마다 1,024개 샘플을 쓴다.

TL;DR 요약 실험은 Reddit TL;DR 데이터셋 [43]을 사용한다. SFT 모델은 사람이 쓴 TL;DR 요약으로 미세조정된 GPT-J이며, RLHF는 TRLX [44] 프레임워크를 사용한다. 선호 데이터는 Stiennon 등 [40]이 비슷한 SFT 모델에서 수집한 사람 선호를 따른다. 단일 턴 대화 실험에서는 Anthropic HH 데이터셋 [1]의 한 번의 human-assistant 상호작용으로 끝나는 부분집합을 사용한다. 이 설정에는 표준 SFT 모델이 없어서, 저자들은 Pythia-2.8B를 시작점으로 삼고 선택된 완성들에 대해 supervised fit를 돌린 Preferred-FT를 참조 모델로 삼는다.

비교 대상은 단순 프롬프팅부터 PPO까지 폭넓다. 요약에서는 zero-shot GPT-J, 대화에서는 2-shot Pythia-2.8B를 포함한다. 추가로 SFT, Preferred-FT, Unlikelihood, PPO, 참 보상을 아는 PPO-GT, 그리고 학습된 reward model로 N개 샘플 중 최고 점수를 고르는 Best-of-N을 비교한다. Best-of-N은 강한 베이스라인이지만 테스트 때마다 여러 개 응답을 생성해야 하므로 계산량이 매우 크다.

구현은 의도적으로 단순하다. 기본 DPO 설정은 β = 0.1, batch size 64, RMSprop, learning rate 1e-6, 150 step warmup이다. TL;DR 요약에서는 β = 0.5를 쓴다. 하이퍼파라미터 스윕은 PPO 목표 KL {3, 6, 9, 12}, DPO/Unlikelihood 계열 β 혹은 α 값 여러 개를 돌리는 식으로 진행된다.

6.1 DPO는 RLHF 목적을 얼마나 잘 최적화하는가? (How well can DPO optimize the RLHF objective?)

이 질문에 대한 가장 직접적인 답은 Figure 2의 왼쪽 패널이다. 논문은 감성 생성 설정에서 22개의 학습 실행을 돌리고, 100 step마다 평균 reward와 참조 정책 대비 sequence-level KL을 측정한다. 여기서 중요한 건 reward 하나만 높다고 좋은 것이 아니라, 같은 KL 예산 안에서 reward를 더 높게 올릴 수 있는지다.

저자들의 관찰은 명확하다. DPO가 만든 reward-KL 전선은 PPO보다 전 구간에서 더 좋다. 논문 표현대로 DPO의 trade-off가 PPO를 “strictly dominates”한다. 흥미로운 점은 PPO가 참 보상을 직접 아는 PPO-GT일 때조차 DPO가 더 좋은 전선을 만들었다는 것이다. 저자들은 이를 통해 DPO가 단순히 보상 모델 오차를 피한 정도가 아니라, 같은 목적을 더 효율적으로 최적화한다고 해석한다.

Figure 2. 왼쪽은 IMDb 감성 생성에서 reward-KL 전선, 오른쪽은 TL;DR 요약에서 기준 요약 대비 승률이다.

 

왼쪽 패널에서 노란 DPO 점군은 낮은 KL 구간부터 높은 reward를 빠르게 달성하고, PPO와 PPO-GT는 더 큰 KL을 치르고도 같은 reward에 미치지 못한다. 오른쪽 패널은 이 결과가 실제 선호 데이터셋에서도 이어지는지를 보여 주는 장면으로 넘어간다.

6.2 DPO는 실제 선호 데이터셋까지 확장되는가? (Can DPO scale to real preference datasets?)

TL;DR 요약에서는 자동 지표보다 사람 선호와의 정합성이 더 중요하다. 논문은 테스트셋 기준 요약을 baseline으로 두고, GPT-4를 평가자로 써서 각 모델의 승률을 비교한다. 결과는 DPO의 장점을 꽤 직관적으로 보여 준다. 논문 본문에 따르면 DPO는 sampling temperature 0.0에서 대략 61% 승률을 기록했고, PPO의 최고 성능은 temperature 0.0에서 약 57% 수준이다. Best of 128도 강한 편이지만 DPO의 최고점에는 미치지 못한다. 더 중요한 차이는 온도 민감도다. DPO는 온도가 바뀌어도 성능이 비교적 안정적이지만, PPO는 온도가 올라가면 기본 GPT-J 수준까지 급격히 떨어진다.

사람 평가에서도 같은 경향이 나온다. Section 6.4에서 DPO temperature 0.25 샘플은 PPO temperature 0.0 샘플보다 58% 더 선호되었다. 논문은 DPO의 β를 크게 튜닝하지 않았다고 적고 있어, 이 결과를 상한이 아니라 하한에 가깝게 본다.

단일 턴 대화에서는 기준이 더 까다롭다. 테스트셋의 chosen response 자체가 이미 사람이 선호한 응답이기 때문이다. 이 설정에서 DPO는 효율적인 방법 중 거의 유일하게 chosen baseline을 넘어선다. Figure 3 왼쪽 패널을 보면 DPO는 temperature 0.75~1.0 구간에서 0.6을 넘는 승률을 보이며, Best of 128과 비슷하거나 약간 더 좋다. 반면 Preferred-FT는 0.5 아래에 머물고, 2-shot Pythia-2.8B는 더 낮다. 논문은 공개 PPO-HH 모델도 시험했지만, base Pythia-2.8B보다 확실히 낫다고 말할 만한 프롬프트나 temperature를 찾지 못했다고 적는다.

Figure 3. 왼쪽은 Anthropic-HH 단일 턴 대화에서 chosen response 대비 승률, 오른쪽은 DPO의 학습 단계별 승률 변화다.

 

그림의 해석은 분명하다. DPO는 chosen response 자체를 넘어서는 승률을 실제로 만들고, 그 성능은 학습이 길어질수록 조금 흔들리긴 해도 비교적 높은 수준에서 유지된다. 논문이 뒤에서 언급하듯, 이 약한 하락은 reward over-optimization 문제와 연결될 수도 있다.

6.3 새로운 입력 분포로 일반화하는가? (Generalization to a new input distribution)

TL;DR 데이터로 학습한 요약 정책을 CNN/DailyMail 기사 요약으로 옮겨 보면, DPO가 PPO보다 분포 이동에도 더 잘 버틴다는 초기 신호가 나온다.

알고리즘	temperature 0	temperature 0.25
DPO	0.36	0.31
PPO	0.26	0.23

Table 1. CNN/DailyMail 기사 요약에서 ground-truth 요약 대비 GPT-4 승률.

절대적인 승률만 보면 둘 다 낮다. Reddit 포스트 요약으로 학습한 모델을 뉴스 기사에 바로 적용했기 때문이다. 그래도 같은 조건에서 DPO가 PPO보다 0.08~0.10포인트 정도 앞선다는 점은 의미가 있다. 특히 DPO는 PPO와 달리 추가 unlabeled prompt를 이용한 RL 수집 루프를 돌리지 않았는데도 이 정도 일반화를 보여 준다.

6.4 GPT-4 판단은 사람 판단과 얼마나 맞는가? (Validating GPT-4 judgments with human judgments)

논문은 GPT-4를 자동 평가자로 쓰는 대신, 그 신뢰성을 따로 검증한다. 요약 평가 프롬프트는 두 버전이다. GPT-4 (S)는 어느 요약이 더 잘 요약했는지만 묻고, GPT-4 (C)는 중요하지 않은 세부를 덜 넣고 더 간결한 요약을 선호하도록 유도한다. 저자들은 기본 프롬프트가 길고 장황한 요약을 과도하게 좋아하는 경향을 보고, 더 간결성까지 묻는 GPT-4 (C)를 주요 결과에 사용했다.

비교 대상	DPO	SFT	PPO-1
응답 수 N	272	122	199
GPT-4 (S) 승률	47	27	13
GPT-4 (C) 승률	54	32	12
사람 승률	58	43	17
GPT-4 (S)-사람 일치율	70	77	86
GPT-4 (C)-사람 일치율	67	79	85
사람-사람 일치율	65	-	87

Table 2. TL;DR 요약 샘플에서 사람과 GPT-4의 승률 및 일치율 비교.

수치가 보여 주는 포인트는 두 가지다. 첫째, GPT-4의 절대 승률 추정은 프롬프트에 따라 꽤 달라진다. DPO 비교만 봐도 (S)에서는 47%, (C)에서는 54%, 사람은 58%다. 둘째, 일치율만 보면 GPT-4와 사람의 합의 수준이 사람-사람 합의 수준과 크게 다르지 않다. 그래서 논문은 GPT-4를 완벽한 평가자가 아니라, 실험 전반을 돌릴 수 있는 합리적 근사치로 사용한다.

7. 논의 (Discussion)

논문의 실질적 기여는 DPO라는 새로운 “손실 함수” 하나보다, RLHF를 보는 관점을 바꾼 데 있다. 보상 모델을 학습하고 RL로 정책을 업데이트해야만 선호 정렬이 가능하다는 통념 대신, 오프라인 선호 데이터와 참조 정책만 있으면 정책을 곧바로 최대우도로 학습할 수 있다는 길을 열었다. 이 관점은 구현 복잡도를 낮추고, 모델 샘플링 루프와 actor-critic 불안정성을 걷어 내며, 실험 결과상 PPO와 대등하거나 더 나은 성능까지 보여 준다.

7.1 한계와 향후 과제 (Limitations & Future Work)

논문이 입증한 범위는 분명히 한정되어 있다. 첫째, 모델 규모는 최대 6B 수준이다. 오늘날의 최전선 모델 규모에서 같은 결론이 유지되는지는 이 논문만으로 단정할 수 없다. 둘째, 분포 이동 일반화는 CNN/DailyMail 한 번의 시험으로만 살폈다. DPO가 explicit reward model보다 어디서 더 잘 일반화하고 어디서 불리한지는 아직 열려 있다. 셋째, Figure 3 오른쪽의 약한 성능 하락이 reward over-optimization의 징후인지, 단순한 학습 변동인지 불분명하다. 넷째, 자동 평가는 GPT-4 프롬프트에 민감하다. 논문도 평가 프롬프트 설계가 결과를 바꾸는 문제를 명시적으로 인정한다.

또 하나의 한계는 DPO가 오프라인 선호 최적화에 매우 잘 맞는다는 점이 곧 모든 정렬 문제에 대한 만능 해법이라는 뜻은 아니라는 데 있다. 탐색이 중요한 환경, 긴 상호작용 궤적, 멀티스텝 credit assignment가 핵심인 문제에서는 여전히 RL의 역할이 남을 수 있다. 이 논문의 공헌은 RL을 완전히 대체했다기보다, 적어도 표준 RLHF의 상당 부분은 굳이 RL로 풀 필요가 없다는 점을 논리와 실험으로 보여 준 것이다.

8. 결론 (Conclusion)

이 논문은 선호 학습을 위한 RLHF 파이프라인을 이론적으로 다시 써서, 보상 모델 학습과 PPO 최적화를 하나의 분류 손실로 접을 수 있음을 보였다. 핵심 등식은 보상 함수를 정책과 참조 정책의 로그 확률비로 바꾸는 재매개변수화이고, 그 결과로 나온 DPO는 오프라인 선호 데이터만으로 정책을 직접 업데이트한다.

논문이 실제로 입증한 범위 안에서 보면 결론은 보수적으로도 충분히 강하다. IMDb 감성 생성에서는 DPO가 PPO와 PPO-GT보다 더 좋은 reward-KL 전선을 만들었고, TL;DR 요약에서는 PPO보다 높은 최고 승률과 더 좋은 온도 강건성을 보였으며, Anthropic-HH 단일 턴 대화에서는 chosen baseline을 넘는 계산 효율적 방법으로 작동했다. 강화학습이 반드시 필요한 것처럼 보였던 표준 RLHF 설정 안에도, 사실상 순수한 최대우도 최적화로 치환할 수 있는 부분이 적지 않다는 점이 이 논문의 가장 중요한 메시지다.