初始化项目,由ModelHub XC社区提供模型
Model: pathcosmos/frankenstallm Source: Original Platform
This commit is contained in:
26
gguf/Modelfile.3b-Q4_K_M
Normal file
26
gguf/Modelfile.3b-Q4_K_M
Normal file
@@ -0,0 +1,26 @@
|
||||
# FRANKENSTALLM 3B Korean ORPO v1 — Ollama Modelfile
|
||||
# Usage:
|
||||
# ollama create frankenstallm-3b -f Modelfile.3b
|
||||
# ollama run frankenstallm-3b
|
||||
#
|
||||
# Sampling config verified via ORPO eval grid + Ollama 실측:
|
||||
# PyTorch: temp=0.7, rep_pen=1.2 → rep=0%, EOS=100%
|
||||
# Ollama Q4_K_M: 3-gram rep=1.8% (자연 어절 반복), EOS=100%
|
||||
# greedy 대비 30.89%→1.8%로 퇴행적 반복 완전 해소
|
||||
|
||||
FROM ./outputs/gguf/frankenstallm-3b-Q4_K_M.gguf
|
||||
|
||||
# --- Sampling Config (ORPO eval grid + Ollama 검증) ---
|
||||
PARAMETER temperature 0.7
|
||||
PARAMETER repeat_penalty 1.2
|
||||
PARAMETER top_p 0.9
|
||||
PARAMETER top_k 50
|
||||
PARAMETER num_predict 512
|
||||
PARAMETER num_ctx 4096
|
||||
PARAMETER stop "</s>"
|
||||
|
||||
# --- System Prompt ---
|
||||
SYSTEM """당신은 FRANKENSTALLM, 한국어에 특화된 3B 파라미터 언어 모델입니다. 정확하고 자연스러운 한국어로 답변해주세요."""
|
||||
|
||||
# --- License ---
|
||||
LICENSE """Apache-2.0"""
|
||||
Reference in New Issue
Block a user