pathcosmos/frankenstallm
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity
Files
main
frankenstallm/source/eval/reports/02_generation_report.md
ModelHub XC d4abdb70fa 初始化项目，由ModelHub XC社区提供模型 
Model: pathcosmos/frankenstallm
Source: Original Platform
2026-07-14 04:21:16 +08:00

12 KiB
Raw Permalink Blame History

02. 생성 품질 평가 보고서

모델: korean_1b_fp8_run1 (1.19B 파라미터, 34,000 steps) 평가일: 2026-02-26 평가자: llm-bang 실험팀

1. 실험 설정

항목 값
모델 korean_1b_fp8_run1 (체크포인트: step-34000)
파라미터 수 ~1.19B
추론 dtype BF16
하드웨어 1× NVIDIA B200 (192GB VRAM)
temperature 0.8
top_p 0.9
top_k 50
max_new_tokens 200
테스트 프롬프트 수 10개
프롬프트 카테고리 사실 지식, 창의 생성, 코드, 수학, 요리, 역사

참고: 이 보고서는 사전학습(pretraining)만 완료된 base 모델을 대상으로 한다. Instruction tuning(SFT) 및 RLHF는 적용되지 않았다.

2. 생성 결과

프롬프트 1: 사실 지식 — 수도

입력 프롬프트:

한국의 수도는

생성 결과:

한국의 수도는서울입니다.'서울'이라는 도시는 대한민국 수도이자, '서울'이라는 도시의 이름은 대한민국 수도이자, 서울의 옛이름이기도 한 '한성'입니다.'한성'은 서울의 옛 이름이고, '한성'은 수도 서울의 옛 이름이기도 합니다. (이후 반복...)

분석:

  • 서울이 수도라는 핵심 사실은 올바르게 생성함.
  • '한성'이 서울의 옛 이름이라는 사실도 맞지만, 이후 동일 설명이 반복적으로 나열되며 퇴화함.
  • 사실 정확도는 부분적(Partial). 반복 퇴화(repetition degeneration) 징후 존재.

프롬프트 2: 개념 설명 — 인공지능

입력 프롬프트:

인공지능이란

생성 결과:

인공지능이란?1. '인공지능(AI)'의 등장 배경 2. 인공지능이 가진 특징 3. 인공지능의 기능 4. 인공지능의 문제점 5. 인공지능의 미래... (목차 구조 반복)

분석:

  • 레포트 또는 에세이의 목차 구조를 생성함. 실제 내용 없이 목차만 나열.
  • 학습 데이터에 레포트/목차 형식의 문서가 상당 비율 포함되어 있음을 시사.
  • 반복은 없으나 정보 밀도가 매우 낮음. 의미 있는 답변으로 보기 어려움.

프롬프트 3: 창의 생성 — 일상 서술

입력 프롬프트:

오늘 날씨가 좋아서

생성 결과:

더 열심히 했어요..이번에는 여름을 주제로 한 노래들을 모아서 소개해드리려고 해요..'SUMMER SONIC'을 가져왔어요...

분석:

  • 자연스러운 블로그 포스트 톤으로 생성됨.
  • 날씨 이야기에서 노래 추천으로 전환되었으며, 창의적이지만 맥락이 다소 벗어남.
  • 10개 프롬프트 중 반복이 없는 가장 자연스러운 생성 사례 중 하나.
  • 학습 데이터에서 일상 블로그 포스트 스타일이 모델에 잘 흡수된 것으로 보임.

프롬프트 4: 사실 지식 — 역사적 사건

입력 프롬프트:

대한민국의 역사에서 가장 중요한 사건은

생성 결과:

대한민국 임시정부 수립입니다. (이후 같은 문장 11번 이상 반복)

분석:

  • '대한민국 임시정부 수립'이라는 핵심 사실 자체는 역사적으로 타당한 답변임.
  • 그러나 이후 동일 문장이 11번 이상 반복되는 심각한 반복 퇴화가 발생함.
  • Trigram repetition 비율: 87.7% — 가장 심각한 반복 퇴화 사례.
  • Beam search 또는 repetition penalty 없이 greedy/top-p 샘플링만으로는 이러한 퇴화가 빈번하게 나타남.

프롬프트 5: 실용 정보 — 교통

입력 프롬프트:

서울에서 부산까지 가는 방법은

생성 결과:

KTX와 SRT 두 가지. 요금 정보 제공 (부정확한 수치).

분석:

  • 구조적으로 정돈된 답변을 생성함.
  • KTX와 SRT를 구분하는 것은 정확함.
  • 그러나 요금 수치가 실제와 다름 — 수치적 사실(hallucination) 문제 발생.
  • 1B 모델의 사실 기억 한계가 드러나는 전형적인 사례.

프롬프트 6: 코드 생성 — Python

입력 프롬프트:

다음은 파이썬 코드입니다:
def hello():

생성 결과:

print("Hello World!"); 이후 반복 퇴화.

분석:

  • 기초적인 print("Hello World!") 완성은 가능함.
  • 이후 의미 있는 코드 생성 없이 반복 퇴화로 진입.
  • 코드 생성 능력은 매우 제한적임.
  • 1B 한국어 특화 모델의 특성상 코드 학습 데이터 비율이 낮아 코드 능력이 부족한 것으로 보임.

프롬프트 7: 수학 — 산술

입력 프롬프트:

1 + 1 = 2이고, 2 + 2 =

생성 결과:

4인데, 이후 n + 2 = ... 패턴 반복하며 점점 오답. 21 + 2 = 40, 22 + 2 = 44 등.

분석:

  • 2 + 2 = 4는 올바르게 생성함.
  • 이후 덧셈 패턴을 계속 이어가지만 수치가 점점 틀려짐 (예: 21 + 2 = 40, 22 + 2 = 44).
  • 실제 산술 연산 능력은 없으며, 숫자 패턴을 표면적으로 모방하는 수준임.
  • 수학적 추론 능력은 pretrain만으로는 형성되기 어려우며, 수식 데이터 추가 및 chain-of-thought 학습이 필요함.

프롬프트 8: 창의 생성 — 시적 서술

입력 프롬프트:

봄이 오면 꽃이 피고

생성 결과:

꽃이 지면 열매가 열린다... 만물이 소생하는 봄... (반복)

분석:

  • 시적·서정적 서술 톤을 잘 포착함.
  • 한국어 문학적 표현 패턴(계절 묘사, 자연 순환)을 자연스럽게 이어감.
  • 후반부에서 반복 퇴화로 진입하지만, 초반부 생성 품질은 양호함.
  • 한국어 문학 및 수필 스타일 학습이 잘 되어 있음을 시사.

프롬프트 9: 실용 지식 — 요리 레시피

입력 프롬프트:

맛있는 김치찌개를 만들려면

생성 결과:

찹쌀을 불려야 합니다... (잘못된 레시피)

분석:

  • 레시피 형식(재료 나열, 순서 설명)은 맞추고 있음.
  • 내용이 부정확함: 김치찌개 레시피에 찹쌀은 사용하지 않음.
  • 도메인 특화 지식에서의 hallucination이 명확하게 드러나는 사례.
  • 1B 모델이 레시피 형식은 학습했으나 실제 요리 지식의 정확성은 담보되지 않음.

프롬프트 10: 사실 지식 — 역사 인물

입력 프롬프트:

세종대왕은

생성 결과:

조선을 건국하고... (세종이 아니라 태조의 업적을 서술). 사실 오류 다수.

분석:

  • 세종대왕의 가장 대표적인 업적인 훈민정음 창제를 언급하지 않음.
  • 조선 건국은 태조 이성계의 업적으로, 세종대왕과 혼동하는 심각한 사실 오류.
  • 역사 인물 관련 사실 정확도가 낮음.
  • 1B 모델의 사실 기억 및 개체 구분 한계를 명확히 보여주는 사례.

3. 종합 분석

3.1 정량 지표 요약

프롬프트 카테고리 반복 퇴화 사실 정확도 자연스러움
1. 한국의 수도는 사실 지식 중간 부분적 보통
2. 인공지능이란 개념 설명 없음 낮음 (무내용) 낮음
3. 오늘 날씨가 좋아서 창의 생성 없음 N/A 높음
4. 대한민국의 역사 사실 지식 심각 (87.7%) 부분적 낮음
5. 서울→부산 교통 실용 정보 없음 부분적 높음
6. 파이썬 코드 코드 생성 중간 낮음 낮음
7. 1+1=2, 2+2= 수학 중간 낮음 낮음
8. 봄이 오면 창의/시적 경미 N/A 높음
9. 김치찌개 레시피 실용 지식 없음 낮음 보통
10. 세종대왕은 역사 인물 없음 매우 낮음 보통

3.2 강점

  1. 한국어 문법 및 자연스러운 문장 생성: 문법적으로 올바른 한국어 문장을 생성하며, 블로그·일상 서술 톤에서 특히 자연스럽다.
  2. 문학적·서정적 표현: 시적 서술 프롬프트(프롬프트 8)에서 한국어 문학 스타일을 잘 포착하였다.
  3. 구조적 형식 학습: 레시피, 목차, 교통 정보 등 다양한 문서 형식을 인식하고 해당 구조로 생성하는 능력이 있다.
  4. 기초 사실 인식: 서울이 수도, KTX/SRT 구분, 임시정부 수립 등 기초적인 사실은 부분적으로 맞추고 있다.

3.3 약점

  1. 반복 퇴화 (Repetition Degeneration)

    • 10개 프롬프트 중 3개(프롬프트 1, 4, 8)에서 중간 이상의 반복 퇴화 발생.
    • 프롬프트 4의 경우 trigram 반복률 87.7%로 가장 심각.
    • Base pretrain 모델에서 repetition penalty 없이 greedy/top-p 샘플링 시 나타나는 일반적인 현상이나, 현재 수준은 개선이 필요함.

  2. 사실 정확도 (Factual Accuracy)

    • 수치 정보(교통 요금), 역사 인물 업적, 요리 레시피 등 디테일에서 hallucination 빈발.
    • 특히 역사 인물(세종대왕 vs. 태조 혼동)에서 개체 구분 오류가 두드러짐.
    • 1B 파라미터 규모의 base 모델로서 예상 범위 내의 한계이나, 실사용에는 적합하지 않음.

  3. 코드 생성 능력

    • 기초적인 코드 완성 외 실질적인 코드 생성 불가.
    • 한국어 특화 학습 데이터 특성상 코드 비율이 낮은 것이 주요 원인.

  4. 수학 및 산술 능력

    • 2 + 2 = 4 수준의 단순 연산만 가능하며 이후 산술 패턴 모방으로만 동작.
    • 실질적인 수치 추론 능력 없음.

  5. 전문 지식 정확도

    • 레시피, 요금 등 전문/실용 지식 도메인에서 형식은 맞추나 내용의 정확성이 낮음.

3.4 1B Base 모델 관점에서의 종합 평가

사전학습(pretraining)만 완료된 1.19B base 모델로서, 이번 생성 품질 평가 결과는 예상 범위 내에 해당한다.

  • 동일 규모의 타 오픈소스 1B base 모델(예: TinyLlama-1.1B, EXAONE-3.0-1.2B 초기 버전 등)과 비교 시 한국어 유창성 측면에서는 경쟁력 있는 수준.
  • Instruction tuning(SFT) 및 RLHF 없이 반복 퇴화가 나타나는 것은 GPT-2, LLaMA-1 등 base 모델에서도 공통적으로 관찰되는 현상임.
  • 사실 정확도의 한계는 1B 파라미터의 구조적 제약으로, 7B+ 모델에서 개선이 기대됨.

4. 개선 방향

4.1 단기 개선 (현재 모델에 즉시 적용 가능)

방법 효과 적용 난이도
repetition_penalty=1.1~1.3 적용 반복 퇴화 완화 낮음 (추론 파라미터 조정)
no_repeat_ngram_size=3 적용 n-gram 반복 차단 낮음 (추론 파라미터 조정)
temperature 조정 (0.7~0.75) 생성 안정성 향상 낮음

4.2 중기 개선 (추가 학습 필요)

  1. SFT (Supervised Fine-Tuning)

    • 지시문 따르기(instruction-following) 능력 부여
    • 반복 퇴화 근본적 완화
    • 추천 데이터: Open-Platypus-ko, KoAlpaca, LIMA-ko 등

  2. 코드 및 수학 데이터 추가 pretraining

    • Python/코드 데이터(The Stack, CodeSearchNet 등) 혼합 학습
    • 수식 및 chain-of-thought 데이터 추가
    • 권장 비율: 코드 1015%, 일반 한국어 8590%

  3. RLHF / DPO

    • 사실 정확도 및 지시 준수 추가 개선
    • 1B 규모에서는 DPO(Direct Preference Optimization)가 비용 대비 효과적

4.3 장기 개선 (모델 규모 확장)

  • 7B+ 모델로 확장 시 사실 정확도, 코드 생성, 수학 추론 능력 전반적으로 향상 기대.
  • 현재 하드웨어(8× B200, ~1.47TB VRAM)로 7B FSDP 학습 충분히 가능.
  • 한국어 특화 7B 모델 pretraining 후 SFT → DPO 파이프라인 적용 권장.

5. 결론

korean_1b_fp8_run1 모델(1.19B, 34k steps)은 한국어 문법 및 문체 생성 능력을 갖춘 base 모델로서의 기본 역할을 수행하고 있다. 블로그·일상·서정적 텍스트 생성에서 자연스러운 결과를 보이며, FP8 + DDP 환경의 학습 파이프라인이 안정적으로 동작했음을 확인하였다.

그러나 사실 정확도, 반복 퇴화, 코드/수학 능력 부재는 현재 모델의 명확한 한계이다. 이는 1B base 모델에서 일반적으로 기대되는 수준이며, SFT → DPO 파이프라인을 통해 상당 부분 개선 가능하다. 추후 7B 규모로의 확장을 통해 사실 정확도와 추론 능력의 근본적인 향상을 도모하는 것이 권장된다.

이 보고서는 eval/generate.py를 통해 생성된 결과를 수동으로 분석한 것이다. 관련 평가 스크립트: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/generate.py