初始化项目，由ModelHub XC社区提供模型

Model: jwg0830/AX-3.1-Light-sft_v0_1 Source: Original Platform
2026-09-26 00:55:20 +08:00
commit 201e3d58fb
9 changed files with 511447 additions and 0 deletions
--- a/.gitattributes
+++ b/.gitattributes
@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text
--- a/README.md
+++ b/README.md
@@ -0,0 +1,49 @@
+---
+base_model: skt/A.X-3.1-Light
+library_name: transformers
+language:
+- ko
+license: other
+tags:
+- lora-merged
+- korean
+- k-ai-leaderboard
+---
+
+# AX-3.1-Light-sft_v0_1 (동전)
+
+skt/A.X-3.1-Light를 기반으로, AI Hub 한국어 데이터를 활용해 K-AI 리더보드 5개 벤치마크
+(KMMLU-Pro / CLIcK / HLE(Ko) / MuSR(Ko) / Com2-main(Ko))와 유사한 자체 proxy 벤치마크에서
+진단한 **출력 형식 결손(format deficit)**을 교정하기 위해 LoRA 파인튜닝 후 병합한 모델입니다.
+
+- **베이스 모델**: `skt/A.X-3.1-Light`
+- **AI Hub 데이터 활용**: 예
+  - `71857` 국어 교과 지문형 문제 데이터 (CLIcK 축 대응)
+  - `71874` 전문 의학지식 데이터 (KMMLU 축 대응)
+  - `71610` 금융, 법률 문서 기계독해 데이터 (HLE 축 대응)
+- **주요 학습 방법**: proxy benchmark 기반 실패 진단(자유생성/강제생성/우도비교/근거주입 4단계 probe) →
+  형식 결손이 확인된 문항 유형에 대해 "간단한 근거 + `정답: <A/B/C/D>`" 형식을 학습하는 LoRA SFT
+  (r=16, alpha=32, 2 epoch)
+- **모델의 목적**: 출력 형식(정답 letter 파싱 가능 여부) 안정화. A.X는 베이스 상태에서 이미 콘텐츠
+  정확도가 높아, 이번 학습은 콘텐츠 보강보다는 strict 출력 형식 준수율 개선에 초점을 둠.
+- **구조 변경**: 없음 (LoRA adapter를 base model에 병합한 표준 A.X-3.1-Light 아키텍처, 별도
+  custom code 없음)
+
+## 자체 Proxy 벤치마크 결과 (참고용, K-AI 공식 점수 아님)
+
+무작위 sampling 800문항(KMMLU-Lite 300 / CLIcK-Lite 300 / HLE-Lite 200) 기준, 베이스 대비:
+
+| Axis | Base 안정정답 | sft_v0_1 안정정답 |
+|---|---:|---:|
+| KMMLU-Lite | 213/300 | 221/300 |
+| CLIcK-Lite | 275/300 | 276/300 |
+| HLE-Lite | 185/200 | 189/200 |
+
+> MuSR-Lite / Com2-main-Lite 축은 이 체크포인트로 아직 재평가하지 않음 (베이스 A.X는 해당 축에서도
+> 이미 90%+ 수준이라 개선 여지가 크지 않을 것으로 예상되나 미실측).
+
+## 사용 데이터셋 명시
+
+AI Hub: 71857(국어 교과 지문형 문제 데이터), 71874(전문 의학지식 데이터), 71610(금융, 법률 문서
+기계독해 데이터)의 validation label 중 최종 proxy 벤치마크로 표본 추출되지 않은 문서-안전
+(document-safe) 잔여분만 학습에 사용함.
--- a/chat_template.jinja
+++ b/chat_template.jinja
@@ -0,0 +1,72 @@
+{%- if tools is iterable and tools | length > 0 %}
+                    {{- '<|im_start|><|system|>'}}
+                    {{- '당신은 도구 호출 기능을 갖춘 유용한 도우미입니다. 사용자의 요청을 처리하기 위해서 필요한 도구가 주어진 목록에 있는 경우 도구 호출로 응답하세요.
+필요한 도구가 목록에 없는 경우에는 도구 호출 없이 사용자가 요구한 정보를 제공하세요.
+필요한 도구가 목록에 있지만 해당 도구를 호출하는데 필요한 argument 정보가 부족한 경우 해당 정보를 사용자에게 요청하세요.
+사용자의 요청을 처리하기 위해 여러번 도구를 호출할 수 있어야 합니다.
+도구 호출 이후 도구 실행 결과를 입력으로 받으면 해당 결과를 활용하여 답변을 생성하세요.
+
+다음은 접근할 수 있는 도구들의 목록 입니다:
+<tools>
+'}}
+                    {%- for t in tools %}
+                        {{- t | tojson }}
+                        {{- '
+' }}
+                    {%- endfor %}
+                    {{- '</tools>' }}
+                    {{- '
+
+도구를 호출하려면 아래의 JSON으로 응답하세요.
+도구 호출 형식: <tool_call>{"name": 도구 이름, "arguments": dictionary 형태의 도구 인자값}</tool_call>' }}
+                    {{- '<|im_end|>' }}
+                {%- endif %}
+        
+                {%- for message in messages %}
+                    {%- if message.role == 'system' %}
+                        {{- '<|im_start|><|system|>' + message.content + '<|im_end|>'}}
+                    {%- elif message.role == 'user' %}
+                        {{- '<|im_start|><|user|>' + message.content + '<|im_end|>'}}
+                    {%- elif message.role == 'assistant' %}
+                        {{- '<|im_start|><|assistant|>'}}
+                        {%- set content = '' %}
+                        {%- if message.content is defined %}
+                            {%- set content = message.content %}
+                        {%- endif %}
+                        
+                {%- if add_generation_prompt and not (message.reasoning_content is defined and message.reasoning_content is not none) %}
+                    {%- if '</think>' in message.content %}
+                        {%- set content = message.content.split('</think>'.strip())[-1].lstrip('\n') %}
+                    {%- endif %}
+                {%- endif %}
+                
+                        {{- content}}
+                        {%- if message.tool_calls is defined %}
+                            {%- for tool_call in message.tool_calls %}
+                                {%- if tool_call.function is defined %}
+                                    {%- set tool_call = tool_call.function %}
+                                {%- endif %}
+                                {{- '<tool_call>' }}
+                                {{- '{' }}
+                                {{- '"name": "' }}
+                                {{- tool_call.name }}
+                                {{- '"' }}
+                                {%- if tool_call.arguments is defined %}
+                                    {{- ', ' }}
+                                    {{- '"arguments": ' }}
+                                    {{- tool_call.arguments|tojson }}
+                                {%- endif %}
+                                {{- '}' }}
+                                {{- '</tool_call>' }}
+                            {%- endfor %}
+                        {%- endif %}
+                        {{- '<|im_end|>'}}
+        
+                    {%- elif message.role == 'tool' %}
+                        {{- '<|im_start|><|extra_id_13|><tool_output>' + message.content + '</tool_output><|im_end|>'}}
+                    {%- endif %}
+                {%- endfor %}
+                
+                    {%- if add_generation_prompt %}
+                        {{- '<|im_start|><|assistant|>' }}
+                    {%- endif %}
--- a/config.json
+++ b/config.json
@@ -0,0 +1,32 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.1,
+  "bos_token_id": 0,
+  "dtype": "bfloat16",
+  "eos_token_id": 0,
+  "head_dim": 128,
+  "hidden_act": "silu",
+  "hidden_size": 4096,
+  "initializer_range": 0.02,
+  "intermediate_size": 10880,
+  "max_position_embeddings": 32768,
+  "mlp_bias": false,
+  "model_type": "llama",
+  "num_attention_heads": 32,
+  "num_hidden_layers": 32,
+  "num_key_value_heads": 32,
+  "pad_token_id": null,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-05,
+  "rope_parameters": {
+    "rope_theta": 500000,
+    "rope_type": "default"
+  },
+  "tie_word_embeddings": false,
+  "transformers_version": "5.15.0",
+  "use_cache": false,
+  "vocab_size": 102400
+}
--- a/generation_config.json
+++ b/generation_config.json
@@ -0,0 +1,7 @@
+{
+  "bos_token_id": 0,
+  "eos_token_id": 27,
+  "max_new_tokens": 32768,
+  "pad_token_id": 1,
+  "transformers_version": "5.15.0"
+}
--- a/kds_merge_info.json
+++ b/kds_merge_info.json
@@ -0,0 +1,5 @@
+{
+  "base_model": "AX-3.1-Light",
+  "base_model_path": "/home/youngseok3/.cache/huggingface/hub/models--skt--A.X-3.1-Light/snapshots/9b41bb2406472634d8812c0b8931fa40fa9a6c3a",
+  "adapter_path": "/home/youngseok3/KDS/checkpoints/sft_v0_1_AX-3.1-Light"
+}
--- a/model.safetensors
+++ b/model.safetensors
@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:40a23390f33e8a79d2cdb0074c909a1f307e2f1b50e2736532cdec2c6652b02d
+size 14529635608
--- a/tokenizer.json
+++ b/tokenizer.json
--- a/tokenizer_config.json
+++ b/tokenizer_config.json
@@ -0,0 +1,23 @@
+{
+  "add_prefix_space": false,
+  "backend": "tokenizers",
+  "bos_token": "<|endoftext|>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<|cls|>",
+  "eod_token": "<|endoftext|>",
+  "eos_token": "<|im_end|>",
+  "errors": "replace",
+  "is_local": true,
+  "local_files_only": true,
+  "mask_token": "<|mask|>",
+  "max_length": 7680,
+  "model_max_length": 32768,
+  "model_specific_special_tokens": {
+    "eod_token": "<|endoftext|>"
+  },
+  "pad_token": "<|pad|>",
+  "sep_token": "<|sep|>",
+  "tokenizer_class": "GPT2Tokenizer",
+  "unk_token": "<|unk|>",
+  "vocab_size": 102400
+}