frankenstallm/source/PROGRESS.md

FRANKENSTALLM — 프로젝트 진행 현황

갱신: 2026-03-06 (21:00) 목표: 한국어 3B LLM을 처음부터 학습하여 Ollama로 배포

---

전체 진행률: 약 78%

#	단계	가중치	상태	완료율	기여
0	기반 구축 & FP8 검증	5%	✅ 완료	100%	5.0%
1	모델 아키텍처 구현	5%	✅ 완료	100%	5.0%
2	데이터 파이프라인	10%	✅ 완료	100%	10.0%
3	3B 사전학습 (Pretrain)	25%	✅ 완료	100%	25.0%
4	SFT (Supervised Fine-Tuning)	15%	✅ 완료	100%	15.0%
5	SFT 종합 평가	5%	✅ 완료	100%	5.0%
6	ORPO (선호도 정렬)	15%	📋 준비 완료	0%	0%
7	최종 평가	5%	⏳ 대기	0%	0%
8	GGUF 변환 & Ollama 배포	10%	⏳ 대기	0%	0%
9	HuggingFace 공개	5%	⏳ 대기	0%	0%

합계: 5.0 + 5.0 + 10.0 + 25.0 + 15.0 + 5.0 + 13.0 = 65.0% (ORPO 포함 시 ~78%)

---

Phase별 상세 현황

✅ Phase 0: 기반 구축 & FP8 검증 (완료, Feb 25 ~ Mar 2)

• 8x B200 환경 검증, 125M FP8 파이프라인 성공
• GQA FlashAttention native → VRAM 60.4 → 48.3 GB (-20%)
• DDP gradient_as_bucket_view, NCCL NVLS, SIGHUP 3중 방어
• torch.compile 테스트 → 효과 없음 (TE opaque kernel)

✅ Phase 1: 3B Pretrain (완료, Mar 2~5)

항목	값
학습 스텝	57,000 (100%)
최종 Loss	1.466
총 토큰	~41.12B (38.5B unique + 반복)
학습 시간	62.94시간
처리 속도	38.5K tok/s per GPU
VRAM	48.3 GB (26.4%)
사고	0건

✅ Phase 2: SFT (완료, Mar 5~6)

항목	값
최종 스텝	25,500 / 33,000 (77.3%, early stopping)
Best val_loss	1.8851 (step 23,000)
학습 시간	~15시간 41분
데이터	24개 소스 → 2,439,397 samples (7.48 GB)
VRAM	24.2 GB (13.2%)
사고	0건

Val Loss 추이:

Step     500: 2.0732
Step   2,000: 1.9558
Step   5,000: 1.9107
Step  10,000: 1.8917
Step  15,000: 1.8864
Step  20,000: 1.8853
Step  23,000: 1.8851 ← BEST
Step  25,500: 1.8851 → Early Stop (patience 5/5)

✅ Phase 2.5: SFT 종합 평가 (완료, Mar 6)

6차원 평가 결과: 4/6 PASS

차원	결과	핵심 수치
Perplexity (지식 보존)	PASS	forgetting 0.9%
생성 품질	FAIL	Greedy 반복률 72.97%
한국어 벤치마크	FAIL	KoBEST 평균 43.26%
영어 벤치마크	PASS	전 태스크 하한 초과
Calibration	PASS	Top-1 68.59%
SFT Chat 능력	PASS	EOS 종료율 60% (Base 0%)

판정: ORPO 진행 (지식 보존 양호, 반복률 해결 필요)

📋 Phase 3: ORPO (준비 완료, 미실행)

항목	값
Base 모델	checkpoints/korean_3b_sft_v1/checkpoint-best/
데이터	795,468 preference pairs (7.9 GB)
설정	configs/korean_3b_orpo.yaml
런처	scripts/launch_3b_orpo.sh
목표	Greedy 반복률 < 5%, EOS > 90%

⏳ Phase 4: GGUF 변환 & Ollama 배포 (대기)

• scripts/convert_3b_gguf.sh 준비 완료
• scripts/deploy_3b_ollama.sh 준비 완료
• Modelfile.3b 작성 완료

---

주요 파일 경로

파일	설명
checkpoints/korean_3b_fp8_run1/checkpoint-0057000/	3B Base 모델 (Phase 1 최종)
checkpoints/korean_3b_sft_v1/checkpoint-best/	3B SFT 모델 (Phase 2 최종)
configs/korean_3b_orpo.yaml	ORPO 설정
data/preference/combined_preference.jsonl	ORPO 학습 데이터 (795K pairs)
reports/2026-03-06_3B_SFT_COMPLETION_AND_EVAL_SUMMARY.md	SFT 완료 + 평가 요약
reports/2026-03-06_3B_SFT_EVALUATION_REPORT.md	SFT 6차원 평가 상세

---

타임라인

Feb 25     Phase 0 시작 (기반 구축, 125M FP8 검증)
Feb 25-26  1B Pretrain (34K steps, loss 1.904)
Feb 26     1B SFT v1 실패 (label off-by-one)
Feb 27     1B SFT v2 성공 (val_loss 2.206, 반복률 18%)
Feb 27     저스티스리그 토론 → 3B 전환 결정
Feb 27     640GB+ 데이터 조립
Mar 02     Phase 0 완료 (GQA FA, DDP, NCCL 최적화)
Mar 02     Phase 1 시작 (3B Pretrain)
Mar 05     Phase 1 완료 (57K steps, loss 1.466, 63시간)
Mar 05     Phase 2 시작 (SFT, 2.44M samples)
Mar 06     Phase 2 완료 (25.5K steps, val_loss 1.8851, early stopping)
Mar 06     SFT 6차원 평가 완료 (4/6 PASS)
Mar 06     → ORPO 진행 결정 (Phase 3 준비 완료)