frankenstallm/reports/2026-03-05_GENERATION_QUALITY.md

FRANKENSTALLM 3B — 생성 품질 + 반복률 분석 보고서

작성일: 2026-03-05 모델: FRANKENSTALLM 3B (base pretrain, checkpoint-0057000) 평가 스크립트: eval/generate.py, eval/analyze_3b_generation.py

---

1. 개요

Base pretrain 모델의 한국어 텍스트 생성 능력과 반복 퇴화(repetition degeneration) 정도를 측정하였다. SFT 이전 기저 수준을 확인하여 SFT 단계의 개선 기대치를 수립하는 것이 목적이다.

평가 설정

항목	값
프롬프트 수	10개 (다양한 주제)
온도	0.0 (greedy), 0.7, 1.0
max_new_tokens	256
top_p	0.9, top_k: 50
반복률 그리드	72개 설정 × 3개 프롬프트

---

2. 온도별 생성 품질

2-1. 3-gram 반복률 요약

온도	평균 3-gram 반복률	EOS 종료율	평가
0.0 (greedy)	71.1%	0%	심각한 반복 퇴화
0.7	40.5%	0%	개선되나 여전히 높음
1.0	9.3%	0%	다양성 양호, 일부 비문

2-2. 프롬프트별 상세 (greedy, temp=0.0)

프롬프트	3-gram 반복률	비고
대한민국의 수도는	80.0%	"인천광역시는..." 반복
인공지능이란	31.8%	"SAT 시험일정" 반복 (데이터 오염 의심)
한국의 전통 음식 중에서	81.5%	"갈비탕은 갈비에 갖은 양념을..." 반복
지구 온난화의 주요 원인은	92.1%	"온실가스 배출은..." 단문 반복
프로그래밍을 배우려면	87.3%	반복 퇴화
조선시대에는	51.0%	상대적 양호
물리학에서 에너지란	91.9%	심각한 반복
한국어는 세계에서	22.2%	가장 양호
경제 성장을 위해서는	88.3%	반복 퇴화
우주 탐사의 역사를 보면	85.0%	반복 퇴화

2-3. 프롬프트별 상세 (temp=0.7)

프롬프트	3-gram 반복률	비고
대한민국의 수도는	91.2%	온도 올려도 반복 유지
인공지능이란	64.3%	부분 개선
한국의 전통 음식 중에서	37.3%	의미 있는 개선
지구 온난화의 주요 원인은	57.8%	부분 개선
프로그래밍을 배우려면	9.4%	크게 개선
조선시대에는	73.6%	악화 (확률적 편차)
물리학에서 에너지란	7.8%	크게 개선
한국어는 세계에서	3.3%	거의 무반복
경제 성장을 위해서는	34.8%	의미 있는 개선
우주 탐사의 역사를 보면	26.0%	개선

2-4. 프롬프트별 상세 (temp=1.0)

프롬프트	3-gram 반복률	비고
대한민국의 수도는	0.0%	무반복
인공지능이란	7.3%	양호
한국의 전통 음식 중에서	0.8%	양호
지구 온난화의 주요 원인은	27.7%	일부 반복 잔존
프로그래밍을 배우려면	14.6%	양호
조선시대에는	0.0%	무반복
물리학에서 에너지란	3.0%	양호
한국어는 세계에서	36.4%	이 프롬프트만 악화
경제 성장을 위해서는	2.4%	양호
우주 탐사의 역사를 보면	0.8%	양호

---

3. 반복률 파라미터 그리드 탐색

72개 파라미터 설정(temperature × repetition_penalty × no_repeat_ngram_size × top_p)에 대해 3개 프롬프트로 탐색하였다.

3-1. Best 설정 (3-gram 반복률 0%)

설정	temp	rep_penalty	ngram_block	top_p
t0.7_r1.0_ng3_tp0.9	0.7	1.0	3	0.9
t0.7_r1.0_ng3_tp0.95	0.7	1.0	3	0.95
t0.7_r1.0_ng4_tp0.9	0.7	1.0	4	0.9
t0.7_r1.1_ng3_tp0.9	0.7	1.1	3	0.9
t0.7_r1.2_ng0_tp0.9	0.7	1.2	-	0.9

no_repeat_ngram_size=3만으로도 모든 온도에서 3-gram 반복률 0% 달성

3-2. Worst 설정 (높은 반복률)

설정	3-gram 반복률	temp	rep_penalty	ngram_block	top_p
t0.7_r1.0_ng0_tp0.95	18.7%	0.7	1.0	-	0.95
t0.7_r1.0_ng0_tp0.9	10.8%	0.7	1.0	-	0.9
t1.0_r1.0_ng0_tp0.95	7.6%	1.0	1.0	-	0.95

3-3. 핵심 발견

1. no_repeat_ngram_size=3가 가장 효과적: 온도/rep_penalty 무관하게 즉시 반복 제거
2. repetition_penalty=1.2도 효과적: ngram blocking 없이도 반복률 0% 달성 (단, top_p=0.9 필요)
3. EOS 종료율은 모든 설정에서 0%: base model은 EOS를 학습하지 않음 — SFT에서 해결 필수
4. top_p=0.95 vs 0.9: top_p가 높을수록 반복률 미세하게 증가 (더 많은 토큰 후보)

---

4. 생성 샘플 (Best/Worst)

4-1. Worst 샘플 (greedy, 심각한 반복)

프롬프트: "지구 온난화의 주요 원인은"

"온실가스 배출이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은..."

(3-gram 반복률 92.1%, 동일 문장 무한 반복)

프롬프트: "대한민국의 수도는" (greedy)

"서울이 아닌 인천이다. 인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다. 인천광역시(仁川廣域市)는..."

(3-gram 반복률 80%, 사실 오류 + 반복 퇴화)

4-2. Best 샘플 (temp=1.0)

프롬프트: "조선시대에는" (3-gram 반복률 0%) 프롬프트: "대한민국의 수도는" (3-gram 반복률 0%) 프롬프트: "우주 탐사의 역사를 보면" (3-gram 반복률 0.8%)

temp=1.0에서 다양하고 문법적으로 올바른 한국어 생성 확인

---

5. 1B 베이스라인과 비교

지표	1B (SFT 후)	3B Base	비교 주의사항
Greedy 3-gram 반복률	30.7%	71.1%	SFT vs Base — 직접 비교 불가
rep=1.1 3-gram 반복률	18%	~0% (ng=3)	ng=3 적용 시 3B가 우수
EOS 종료율	60%	0%	1B는 SFT 후 수치

1B의 30.7%는 SFT 이후 측정값이다. SFT 전 1B의 greedy 반복률은 현 3B와 유사하거나 더 높았을 것으로 추정된다.

---

6. SFT 진행 판단 (생성 품질 기준)

기준	판정
temp=1.0에서 의미 있는 한국어 생성	✅ 가능 (9.3% 반복률)
no_repeat_ngram_size=3으로 반복 제거 가능	✅ 확인됨
완전한 비문/랜덤 토큰 출력 여부	✅ 없음 — 한국어 문법 유지
사실 정확성	⚠️ base model이므로 사실 오류 존재 (예: 수도=인천)

결론: 생성 품질 관점에서 SFT 진행에 문제 없음. 반복 퇴화는 base model의 전형적 특성이며, SFT와 디코딩 전략(ngram blocking)으로 해결 가능.

---

7. 권장 추론 파라미터 (base model 실험용)

generation_config = {
    "temperature": 0.9,
    "top_p": 0.9,
    "top_k": 50,
    "no_repeat_ngram_size": 3,
    "repetition_penalty": 1.1,
    "max_new_tokens": 512,
}

---

8. 평가 데이터 파일

파일	설명
eval/outputs/3b_generation_results.json	10 프롬프트 × 3 온도 생성 결과
eval/outputs/3b_repetition_analysis.json	72 설정 × 3 프롬프트 반복률 분석

---

보고서 작성: 2026-03-05