# 어벤져스 팀 2번 — ORPO + 고품질 데이터로 1B 완성 전략

**작성일:** 2026-02-27  
**전략:** 현재 1B SFT v2 모델을 ORPO로 반복률 <5% 달성  
**현재 상태:** 반복률 18.0%, val_loss 2.2062

---

## 1. 반복률 18% → <5% 달성 로드맵

### Step A: 추론 파라미터 튜닝 (즉시, 0시간)

| 파라미터 | 현재 | 변경 | 
|----------|------|------|
| repetition_penalty | 1.1 | **1.2** |
| no_repeat_ngram_size | 3 | **4** |

**예상 반복률: 18% → 10~12%**

- 근거: 현재 eval에서 repetition_penalty=1.1로 측정. 1.2로 올리면 n-gram 반복이 직접 억제됨
- 한계: 생성 품질 저하 없이 가능한 범위. 1.3 이상은 문맥 coherence 손상
- **독립 효과:** 모델 가중치 변경 없이 즉시 적용. 다른 단계와 완전히 독립

### Step B: ORPO 학습 (핵심, 3~5시간)

**예상 반복률: 10~12% → 4~7%**

ORPO(Odds Ratio Preference Optimization)는 SFT + preference alignment를 단일 목적함수로 통합:
- SFT loss로 chosen 응답 학습
- Odds ratio로 chosen vs rejected 선호도 학습
- DPO 대비 reference model 불필요 → 메모리/시간 절약

**왜 ORPO가 반복 퇴화에 효과적인가:**
1. 반복 응답을 rejected로 명시적 학습 → 모델이 "반복하지 말라"를 직접 배움
2. SFT만으로는 "뭘 하면 안 되는지" 학습 불가 → preference learning이 유일한 해법
3. 1B 모델의 반복은 파라미터 부족이 아닌 **EOS 경계 학습 실패** + **반복 패턴 미벌칙** → ORPO로 직접 교정 가능

**필요 데이터:** 500~2000 preference 쌍 (아래 섹션 2 참조)

### Step C: 데이터 정제 + 추가 SFT (선택적, 2~4시간)

**예상 반복률: 4~7% → 3~5%**

- data_quality_audit에서 발견된 문제 수정:
  - `</s>` 오염 113건 제거
  - 짧은 output(<80자) 16,519건 제거
  - Q/A 마커 ~550건 제거
  - OpenOrca 가중치 5.0→2.0
- 정제된 ~120K 데이터로 추가 SFT 2-3 epochs

**독립 효과:** 데이터 품질 개선은 ORPO와 무관하게 기저 모델 개선. 하지만 ORPO 없이 이것만으로는 반복률 <5% 불가능 (SFT v1→v2에서 이미 데이터 정제했으나 17.7%→18%로 정체)

### 종합 예상

| 단계 | 반복률 | 소요시간 | 누적시간 |
|------|--------|----------|----------|
| 현재 | 18.0% | - | - |
| Step A (추론 파라미터) | 10~12% | 0h | 0h |
| Step B (ORPO) | 4~7% | 3~5h | 3~5h |
| Step C (데이터 정제 SFT) | 3~5% | 2~4h | 5~9h |
| **최종** | **3~5%** | | **5~9h** |

---

## 2. 자체 Preference 데이터 생성 전략

### 방법: Self-Play Rejection Sampling

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained("checkpoints/korean_1b_sft/checkpoint-best")
tokenizer = AutoTokenizer.from_pretrained(...)

def generate_preference_pair(prompt, n_samples=8, temp=0.9):
    """프롬프트 당 n_samples개 생성 → chosen/rejected 분류"""
    responses = []
    for _ in range(n_samples):
        output = model.generate(
            tokenizer.encode(f"<|user|>\n{prompt}\n<|assistant|>\n", return_tensors="pt"),
            max_new_tokens=256, temperature=temp, top_p=0.95,
            do_sample=True, repetition_penalty=1.0  # 의도적으로 penalty 없이
        )
        text = tokenizer.decode(output[0], skip_special_tokens=True)
        rep_rate = calc_repetition_rate(text)  # 10-gram 기준
        responses.append((text, rep_rate))
    
    # 분류
    chosen = [r for r in responses if r[1] < 0.05]   # 반복률 5% 미만 → chosen
    rejected = [r for r in responses if r[1] > 0.15]  # 반복률 15% 이상 → rejected
    
    if chosen and rejected:
        return {"prompt": prompt, "chosen": chosen[0][0], "rejected": rejected[0][0]}
    return None
```

### 규모 계산

| 항목 | 값 |
|------|-----|
| 필요 preference 쌍 | 500~1000 (최소 500) |
| 프롬프트 당 샘플 수 | 8 |
| 유효 쌍 생성률 | ~40% (반복률 18%이므로 chosen/rejected 분리 가능) |
| 필요 프롬프트 수 | 500 / 0.4 = **~1,250개** |
| 프롬프트 당 생성 시간 | 8 × 256 tokens × ~0.02s/token ≈ 40s |
| **총 생성 시간** | 1,250 × 40s ≈ **14시간** (GPU 1개) |

⚠️ **자체 생성은 느림.** 대안: 기존 HF preference 데이터 활용 (섹션 3)

### 자동 품질 판단 기준

- **chosen 임계값:** 10-gram 반복률 < 5%, 길이 > 50 tokens, EOS 정상 생성
- **rejected 임계값:** 10-gram 반복률 > 15% OR 동일 문장 2회 이상 반복
- 중간 영역(5~15%)은 버림 → contrastive signal 극대화

### 빠른 대안: 하이브리드 전략 (추천)

1. HF에서 500~1000쌍 다운로드 (즉시)
2. 자체 모델로 200~300쌍 추가 생성 (반복 특화, 3~4시간)
3. 총 700~1300쌍으로 ORPO 학습

---

## 3. HuggingFace 즉시 사용 가능 한국어 Preference 데이터

### 확인된 데이터셋

| 데이터셋 | 크기 | 포맷 | 적합성 |
|----------|------|------|--------|
| `maywell/ko_Ultrafeedback_binarized` | **61,966쌍** | prompt/chosen/rejected | ⭐⭐⭐ 최적 — 바로 ORPO에 사용 가능 |
| `kuotient/orca-math-korean-dpo-pairs` | **192,848쌍** | question/chosen/rejected | ⭐⭐ 수학 특화지만 양 풍부 |
| `nayohan/preference-collection-ko-full` | **199,760쌍** | 복잡 포맷 (score_A/B) | ⭐⭐ 전처리 필요 |
| `jojo0217/korean_rlhf_dataset` | 미확인 | 미확인 | ⭐ 확인 필요 |
| `heegyu/PKU-SafeRLHF-ko` | 미확인 | 미확인 | ⭐ 안전성 특화 |

### 추천 조합

```python
# 1순위: ko_Ultrafeedback_binarized에서 2000쌍 샘플링
from datasets import load_dataset
ds = load_dataset("maywell/ko_Ultrafeedback_binarized", split="train")
# 이미 prompt/chosen/rejected 포맷 → 바로 사용

# 2순위: orca-math에서 500쌍 추가 (다양성)
ds2 = load_dataset("kuotient/orca-math-korean-dpo-pairs", split="train")
```

**준비 시간: 30분 미만** (다운로드 + 포맷 변환)

---

## 4. 1B 모델의 한계와 ORPO 극복 범위

### 반복 퇴화의 근본 원인: 파라미터 수 vs 학습 방법

**파라미터 수가 주 원인이 아닌 근거:**
1. Pretrain 단계에서 반복률 69% → SFT로 18%까지 낮춤. 같은 1B 파라미터로 51%p 개선
2. 반복 패턴은 특정 프롬프트에서만 발생 (짧은 사실 질문은 0%, 긴 설명 질문에서 20~33%)
3. data_quality_audit에서 EOS 학습 실패가 핵심 원인으로 지목됨 → 학습 데이터/방법 문제

**1B에서 반복률 <5% 현실성:**
- Qwen2.5-0.5B, SmolLM-1.7B 등 유사 규모 모델이 RLHF/DPO 후 반복률 <5% 달성 사례 다수
- ORPO 원논문(Hong et al., 2024)에서 Phi-2(2.7B)와 Llama-2-7B 실험 → 소규모 모델에서도 일관된 개선
- 1B급 직접 실험은 드물지만, **반복 퇴화는 alignment 문제이지 capacity 문제가 아님**

**ORPO 특유의 장점 (1B에 유리):**
- Reference model 불필요 → GPU 메모리 절약 (DPO는 2배 메모리)
- 1B 모델을 단일 GPU에서 full fine-tuning 가능
- SFT + preference를 동시에 학습 → 적은 데이터로 효율적

### 현실적 기대치

| 목표 | 달성 가능성 | 조건 |
|------|------------|------|
| 반복률 <10% | **95%** | ORPO 500쌍 + rep_penalty=1.2 |
| 반복률 <5% | **70%** | ORPO 1000쌍 + 데이터 정제 SFT |
| 반복률 <3% | **40%** | ORPO 2000쌍 + 데이터 정제 + 파라미터 튜닝 |

---

## 5. 총 비용 계산

### 1B ORPO 경로 (이 전략)

| 단계 | 작업 | 시간 |
|------|------|------|
| 1 | HF preference 데이터 다운로드 + 전처리 | 0.5h |
| 2 | 자체 preference 생성 (200~300쌍, 선택적) | 3~4h |
| 3 | ORPO 학습 (1000쌍, 1~2 epochs) | 1~2h |
| 4 | 평가 + 반복 | 0.5h |
| 5 | (선택) 데이터 정제 재SFT | 2~4h |
| **총합 (필수만)** | | **2~3h** |
| **총합 (전체)** | | **7~11h** |

### 3B 처음부터 경로 (대안)

| 단계 | 시간 |
|------|------|
| 3B pretrain | 26h |
| SFT | 1~2h |
| 평가 | 1h |
| **총합** | **28~29h** |

### 비교

| 항목 | 1B ORPO | 3B 처음부터 |
|------|---------|------------|
| 소요 시간 | 2~11h | 28~29h |
| 성공 확률 (<5%) | 70% | 80~90% |
| 실패 시 비용 | 3~11h 낭비 | 29h 낭비 |
| 기대값 (시간×확률) | 3~11h / 0.7 = **4~16h** | 29h / 0.85 = **34h** |
| 병렬 가능 | ✅ 3B와 동시 진행 가능 | GPU 점유 |

---

## 6. 최종 권고: 왜 지금 당장 ORPO여야 하는가

### 핵심 논거

1. **시간 효율:** 필수 단계만 2~3시간. 3B의 1/10 시간
2. **리스크 최소:** 실패해도 3시간 손실. 3B는 29시간 손실
3. **이미 데이터 있음:** `maywell/ko_Ultrafeedback_binarized` 61K쌍이 HF에 준비됨. 다운로드만 하면 됨
4. **정확한 문제 해결:** 반복 퇴화의 원인은 "뭘 하면 안 되는지 모름" → preference learning이 정확한 해법
5. **병렬 전략 가능:** ORPO는 2~3시간이므로, 3B 학습과 동시에 시작 가능. 먼저 끝나는 쪽 채택

### 즉시 실행 계획

```bash
# Step 1: preference 데이터 준비 (30분)
python3 scripts/prepare_orpo_data.py \
  --hf_dataset maywell/ko_Ultrafeedback_binarized \
  --sample_size 2000 \
  --output data/orpo/train.jsonl

# Step 2: ORPO 학습 (1~2시간)
python3 scripts/train_orpo.py \
  --model checkpoints/korean_1b_sft/checkpoint-best \
  --data data/orpo/train.jsonl \
  --lr 5e-6 --epochs 2 --batch_size 4 --beta 0.1 \
  --output checkpoints/korean_1b_orpo

# Step 3: 평가 (30분)
python3 eval/comprehensive_eval.py \
  --model checkpoints/korean_1b_orpo \
  --repetition_penalty 1.2 --no_repeat_ngram_size 4
```

### 성공 판정 기준

| 지표 | 목표 | 현재 |
|------|------|------|
| 반복률 | <5% | 18% |
| 자연 종료율 | >80% | 60% |
| 응답 품질 | 유지 또는 개선 | baseline |

---

## 요약

| 항목 | 값 |
|------|-----|
| **전략** | ORPO + 추론 파라미터 튜닝 |
| **예상 반복률** | 3~7% (목표 <5% 달성 확률 70%) |
| **총 소요시간** | 2~3h (필수) / 7~11h (전체) |
| **vs 3B** | 10~15배 빠름, 기대값 기준 2~3배 효율적 |
| **필요 데이터** | HF에서 즉시 사용 가능 (0원, 30분) |
| **핵심 메시지** | SFT만으로는 "하지 말아야 할 것"을 가르칠 수 없다. ORPO가 정확한 해법이다. |