27 lines
909 B
Plaintext
27 lines
909 B
Plaintext
|
# FRANKENSTALLM 3B Korean ORPO v1 — Ollama Modelfile
|
||
|
|
# Usage:
|
||
|
|
# ollama create frankenstallm-3b -f Modelfile.3b
|
||
|
|
# ollama run frankenstallm-3b
|
||
|
|
#
|
||
|
|
# Sampling config verified via ORPO eval grid + Ollama 실측:
|
||
|
|
# PyTorch: temp=0.7, rep_pen=1.2 → rep=0%, EOS=100%
|
||
|
|
# Ollama Q4_K_M: 3-gram rep=1.8% (자연 어절 반복), EOS=100%
|
||
|
|
# greedy 대비 30.89%→1.8%로 퇴행적 반복 완전 해소
|
||
|
|
|
||
|
|
FROM ./outputs/gguf/frankenstallm-3b-Q4_K_M.gguf
|
||
|
|
|
||
|
|
# --- Sampling Config (ORPO eval grid + Ollama 검증) ---
|
||
|
|
PARAMETER temperature 0.7
|
||
|
|
PARAMETER repeat_penalty 1.2
|
||
|
|
PARAMETER top_p 0.9
|
||
|
|
PARAMETER top_k 50
|
||
|
|
PARAMETER num_predict 512
|
||
|
|
PARAMETER num_ctx 4096
|
||
|
|
PARAMETER stop "</s>"
|
||
|
|
|
||
|
|
# --- System Prompt ---
|
||
|
|
SYSTEM """당신은 FRANKENSTALLM, 한국어에 특화된 3B 파라미터 언어 모델입니다. 정확하고 자연스러운 한국어로 답변해주세요."""
|
||
|
|
|
||
|
|
# --- License ---
|
||
|
|
LICENSE """Apache-2.0"""
|