初始化项目，由ModelHub XC社区提供模型
Model: MEME-KING16/granite-3.2-8b-claude-opus-full-ft Source: Original Platform
This commit is contained in:
ModelHub XC
35
.gitattributes
vendored
Normal file
35
.gitattributes
vendored
Normal file
@@ -0,0 +1,35 @@
|
|||||||
|
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.model filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||||
|
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||||
59
README.md
Normal file
59
README.md
Normal file
@@ -0,0 +1,59 @@
|
|||||||
|
---
|
||||||
|
base_model: unsloth/granite-3.2-8b-instruct
|
||||||
|
library_name: transformers
|
||||||
|
model_name: granite-3.2-8b-claude-opus-FULL
|
||||||
|
tags:
|
||||||
|
- generated_from_trainer
|
||||||
|
- unsloth
|
||||||
|
- sft
|
||||||
|
- trl
|
||||||
|
licence: license
|
||||||
|
---
|
||||||
|
|
||||||
|
# Model Card for granite-3.2-8b-claude-opus-FULL
|
||||||
|
|
||||||
|
This model is a fine-tuned version of [unsloth/granite-3.2-8b-instruct](https://huggingface.co/unsloth/granite-3.2-8b-instruct).
|
||||||
|
It has been trained using [TRL](https://github.com/huggingface/trl).
|
||||||
|
|
||||||
|
## Quick start
|
||||||
|
|
||||||
|
```python
|
||||||
|
from transformers import pipeline
|
||||||
|
|
||||||
|
question = "If you had a time machine, but could only go to the past or the future once and never return, which would you choose and why?"
|
||||||
|
generator = pipeline("text-generation", model="None", device="cuda")
|
||||||
|
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
|
||||||
|
print(output["generated_text"])
|
||||||
|
```
|
||||||
|
|
||||||
|
## Training procedure
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
This model was trained with SFT.
|
||||||
|
|
||||||
|
### Framework versions
|
||||||
|
|
||||||
|
- TRL: 0.24.0
|
||||||
|
- Transformers: 5.2.0
|
||||||
|
- Pytorch: 2.8.0+cu128
|
||||||
|
- Datasets: 4.3.0
|
||||||
|
- Tokenizers: 0.22.2
|
||||||
|
|
||||||
|
## Citations
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Cite TRL as:
|
||||||
|
|
||||||
|
```bibtex
|
||||||
|
@misc{vonwerra2022trl,
|
||||||
|
title = {{TRL: Transformer Reinforcement Learning}},
|
||||||
|
author = {Leandro von Werra and Younes Belkada and Lewis Tunstall and Edward Beeching and Tristan Thrush and Nathan Lambert and Shengyi Huang and Kashif Rasul and Quentin Gallou{\'e}dec},
|
||||||
|
year = 2020,
|
||||||
|
journal = {GitHub repository},
|
||||||
|
publisher = {GitHub},
|
||||||
|
howpublished = {\url{https://github.com/huggingface/trl}}
|
||||||
|
}
|
||||||
|
```
|
||||||
8
chat_template.jinja
Normal file
8
chat_template.jinja
Normal file
@@ -0,0 +1,8 @@
|
|||||||
|
{% for message in messages %}{% if message['role'] == 'user' %}{{'<|im_start|>user
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
'}}{% elif message['role'] == 'assistant' %}{{'<|im_start|>assistant
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
' }}{% else %}{{ '<|im_start|>system
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
' }}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
|
||||||
|
' }}{% endif %}
|
||||||
8
checkpoint-100/chat_template.jinja
Normal file
8
checkpoint-100/chat_template.jinja
Normal file
@@ -0,0 +1,8 @@
|
|||||||
|
{% for message in messages %}{% if message['role'] == 'user' %}{{'<|im_start|>user
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
'}}{% elif message['role'] == 'assistant' %}{{'<|im_start|>assistant
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
' }}{% else %}{{ '<|im_start|>system
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
' }}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
|
||||||
|
' }}{% endif %}
|
||||||
37
checkpoint-100/config.json
Normal file
37
checkpoint-100/config.json
Normal file
@@ -0,0 +1,37 @@
|
|||||||
|
{
|
||||||
|
"architectures": [
|
||||||
|
"GraniteForCausalLM"
|
||||||
|
],
|
||||||
|
"attention_bias": false,
|
||||||
|
"attention_dropout": 0.0,
|
||||||
|
"attention_multiplier": 0.0078125,
|
||||||
|
"bos_token_id": 49155,
|
||||||
|
"dtype": "bfloat16",
|
||||||
|
"embedding_multiplier": 12.0,
|
||||||
|
"eos_token_id": 0,
|
||||||
|
"hidden_act": "silu",
|
||||||
|
"hidden_size": 4096,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"intermediate_size": 12800,
|
||||||
|
"logits_scaling": 16.0,
|
||||||
|
"max_position_embeddings": 131072,
|
||||||
|
"mlp_bias": false,
|
||||||
|
"model_name": "unsloth/granite-3.2-8b-instruct",
|
||||||
|
"model_type": "granite",
|
||||||
|
"num_attention_heads": 32,
|
||||||
|
"num_hidden_layers": 40,
|
||||||
|
"num_key_value_heads": 8,
|
||||||
|
"pad_token_id": 4,
|
||||||
|
"residual_multiplier": 0.22,
|
||||||
|
"rms_norm_eps": 1e-05,
|
||||||
|
"rope_parameters": {
|
||||||
|
"rope_theta": 10000000.0,
|
||||||
|
"rope_type": "default"
|
||||||
|
},
|
||||||
|
"tie_word_embeddings": true,
|
||||||
|
"transformers_version": "5.2.0",
|
||||||
|
"unsloth_fixed": true,
|
||||||
|
"unsloth_version": "2026.3.3",
|
||||||
|
"use_cache": false,
|
||||||
|
"vocab_size": 49155
|
||||||
|
}
|
||||||
10
checkpoint-100/generation_config.json
Normal file
10
checkpoint-100/generation_config.json
Normal file
@@ -0,0 +1,10 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 49155,
|
||||||
|
"eos_token_id": [
|
||||||
|
0
|
||||||
|
],
|
||||||
|
"max_length": 131072,
|
||||||
|
"pad_token_id": 4,
|
||||||
|
"transformers_version": "5.2.0"
|
||||||
|
}
|
||||||
3
checkpoint-100/model.safetensors
Normal file
3
checkpoint-100/model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:d1d2c8c2d34c590f1c429a1bad529d2ccac25f8e5fe04f8e70cdb93974dbfd14
|
||||||
|
size 16341738952
|
||||||
3
checkpoint-100/optimizer.pt
Normal file
3
checkpoint-100/optimizer.pt
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:c80b6e70b49824132c638d32166dd4a73eaad68fa13dab43adff1f6b1a0c91df
|
||||||
|
size 32683715489
|
||||||
3
checkpoint-100/scheduler.pt
Normal file
3
checkpoint-100/scheduler.pt
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:58f8b6881a432bd2506b4c142d6f9b7b6b337d2665d39a90b132dcb1c80cdc27
|
||||||
|
size 1465
|
||||||
244972
checkpoint-100/tokenizer.json
Normal file
244972
checkpoint-100/tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
11
checkpoint-100/tokenizer_config.json
Normal file
11
checkpoint-100/tokenizer_config.json
Normal file
@@ -0,0 +1,11 @@
|
|||||||
|
{
|
||||||
|
"add_prefix_space": false,
|
||||||
|
"backend": "tokenizers",
|
||||||
|
"bos_token": "<|end_of_text|>",
|
||||||
|
"eos_token": "<|im_end|>",
|
||||||
|
"errors": "replace",
|
||||||
|
"model_max_length": 1000000000000000019884624838656,
|
||||||
|
"pad_token": "<fim_pad>",
|
||||||
|
"tokenizer_class": "GPT2Tokenizer",
|
||||||
|
"unk_token": "�"
|
||||||
|
}
|
||||||
104
checkpoint-100/trainer_state.json
Normal file
104
checkpoint-100/trainer_state.json
Normal file
@@ -0,0 +1,104 @@
|
|||||||
|
{
|
||||||
|
"best_global_step": null,
|
||||||
|
"best_metric": null,
|
||||||
|
"best_model_checkpoint": null,
|
||||||
|
"epoch": 0.7590132827324478,
|
||||||
|
"eval_steps": 500,
|
||||||
|
"global_step": 100,
|
||||||
|
"is_hyper_param_search": false,
|
||||||
|
"is_local_process_zero": true,
|
||||||
|
"is_world_process_zero": true,
|
||||||
|
"log_history": [
|
||||||
|
{
|
||||||
|
"epoch": 0.07590132827324478,
|
||||||
|
"grad_norm": 22.0,
|
||||||
|
"learning_rate": 9e-08,
|
||||||
|
"loss": 1.0496648788452148,
|
||||||
|
"step": 10
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.15180265654648956,
|
||||||
|
"grad_norm": 21.5,
|
||||||
|
"learning_rate": 1.8999999999999998e-07,
|
||||||
|
"loss": 1.0672600746154786,
|
||||||
|
"step": 20
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.22770398481973433,
|
||||||
|
"grad_norm": 23.375,
|
||||||
|
"learning_rate": 2.9e-07,
|
||||||
|
"loss": 1.074104118347168,
|
||||||
|
"step": 30
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.3036053130929791,
|
||||||
|
"grad_norm": 19.0,
|
||||||
|
"learning_rate": 3.8999999999999997e-07,
|
||||||
|
"loss": 1.0784456253051757,
|
||||||
|
"step": 40
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.3795066413662239,
|
||||||
|
"grad_norm": 21.25,
|
||||||
|
"learning_rate": 4.9e-07,
|
||||||
|
"loss": 1.0631229400634765,
|
||||||
|
"step": 50
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.45540796963946867,
|
||||||
|
"grad_norm": 18.625,
|
||||||
|
"learning_rate": 5.9e-07,
|
||||||
|
"loss": 1.0021364212036132,
|
||||||
|
"step": 60
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.5313092979127134,
|
||||||
|
"grad_norm": 19.625,
|
||||||
|
"learning_rate": 6.9e-07,
|
||||||
|
"loss": 1.0368730545043945,
|
||||||
|
"step": 70
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.6072106261859582,
|
||||||
|
"grad_norm": 13.1875,
|
||||||
|
"learning_rate": 7.9e-07,
|
||||||
|
"loss": 0.9585152626037597,
|
||||||
|
"step": 80
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.683111954459203,
|
||||||
|
"grad_norm": 10.4375,
|
||||||
|
"learning_rate": 8.9e-07,
|
||||||
|
"loss": 0.8780872344970703,
|
||||||
|
"step": 90
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.7590132827324478,
|
||||||
|
"grad_norm": 6.84375,
|
||||||
|
"learning_rate": 9.9e-07,
|
||||||
|
"loss": 0.8695860862731933,
|
||||||
|
"step": 100
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"logging_steps": 10,
|
||||||
|
"max_steps": 396,
|
||||||
|
"num_input_tokens_seen": 0,
|
||||||
|
"num_train_epochs": 3,
|
||||||
|
"save_steps": 100,
|
||||||
|
"stateful_callbacks": {
|
||||||
|
"TrainerControl": {
|
||||||
|
"args": {
|
||||||
|
"should_epoch_stop": false,
|
||||||
|
"should_evaluate": false,
|
||||||
|
"should_log": false,
|
||||||
|
"should_save": true,
|
||||||
|
"should_training_stop": false
|
||||||
|
},
|
||||||
|
"attributes": {}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"total_flos": 7.816482044765798e+16,
|
||||||
|
"train_batch_size": 4,
|
||||||
|
"trial_name": null,
|
||||||
|
"trial_params": null
|
||||||
|
}
|
||||||
3
checkpoint-100/training_args.bin
Normal file
3
checkpoint-100/training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:0c046e33cd8fc19c158792bb00b2580a5dcc0c5b7d92fa961dea01e4c3b0aa96
|
||||||
|
size 5585
|
||||||
8
checkpoint-200/chat_template.jinja
Normal file
8
checkpoint-200/chat_template.jinja
Normal file
@@ -0,0 +1,8 @@
|
|||||||
|
{% for message in messages %}{% if message['role'] == 'user' %}{{'<|im_start|>user
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
'}}{% elif message['role'] == 'assistant' %}{{'<|im_start|>assistant
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
' }}{% else %}{{ '<|im_start|>system
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
' }}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
|
||||||
|
' }}{% endif %}
|
||||||
37
checkpoint-200/config.json
Normal file
37
checkpoint-200/config.json
Normal file
@@ -0,0 +1,37 @@
|
|||||||
|
{
|
||||||
|
"architectures": [
|
||||||
|
"GraniteForCausalLM"
|
||||||
|
],
|
||||||
|
"attention_bias": false,
|
||||||
|
"attention_dropout": 0.0,
|
||||||
|
"attention_multiplier": 0.0078125,
|
||||||
|
"bos_token_id": 49155,
|
||||||
|
"dtype": "bfloat16",
|
||||||
|
"embedding_multiplier": 12.0,
|
||||||
|
"eos_token_id": 0,
|
||||||
|
"hidden_act": "silu",
|
||||||
|
"hidden_size": 4096,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"intermediate_size": 12800,
|
||||||
|
"logits_scaling": 16.0,
|
||||||
|
"max_position_embeddings": 131072,
|
||||||
|
"mlp_bias": false,
|
||||||
|
"model_name": "unsloth/granite-3.2-8b-instruct",
|
||||||
|
"model_type": "granite",
|
||||||
|
"num_attention_heads": 32,
|
||||||
|
"num_hidden_layers": 40,
|
||||||
|
"num_key_value_heads": 8,
|
||||||
|
"pad_token_id": 4,
|
||||||
|
"residual_multiplier": 0.22,
|
||||||
|
"rms_norm_eps": 1e-05,
|
||||||
|
"rope_parameters": {
|
||||||
|
"rope_theta": 10000000.0,
|
||||||
|
"rope_type": "default"
|
||||||
|
},
|
||||||
|
"tie_word_embeddings": true,
|
||||||
|
"transformers_version": "5.2.0",
|
||||||
|
"unsloth_fixed": true,
|
||||||
|
"unsloth_version": "2026.3.3",
|
||||||
|
"use_cache": false,
|
||||||
|
"vocab_size": 49155
|
||||||
|
}
|
||||||
10
checkpoint-200/generation_config.json
Normal file
10
checkpoint-200/generation_config.json
Normal file
@@ -0,0 +1,10 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 49155,
|
||||||
|
"eos_token_id": [
|
||||||
|
0
|
||||||
|
],
|
||||||
|
"max_length": 131072,
|
||||||
|
"pad_token_id": 4,
|
||||||
|
"transformers_version": "5.2.0"
|
||||||
|
}
|
||||||
3
checkpoint-200/model.safetensors
Normal file
3
checkpoint-200/model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:22388c92105a25450a7c646eca5b7fd03f8b43ecb3d7512ee0492058df9c7745
|
||||||
|
size 16341738952
|
||||||
3
checkpoint-200/optimizer.pt
Normal file
3
checkpoint-200/optimizer.pt
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:a699bc89e4cf7f8acd8a6fbd926dbe09425ae680ba91e7225889efea7766f556
|
||||||
|
size 32683715489
|
||||||
3
checkpoint-200/scheduler.pt
Normal file
3
checkpoint-200/scheduler.pt
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:c84512b29286becb658352103a153392a6068cd445128ed286e50675a8cea11c
|
||||||
|
size 1465
|
||||||
244972
checkpoint-200/tokenizer.json
Normal file
244972
checkpoint-200/tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
11
checkpoint-200/tokenizer_config.json
Normal file
11
checkpoint-200/tokenizer_config.json
Normal file
@@ -0,0 +1,11 @@
|
|||||||
|
{
|
||||||
|
"add_prefix_space": false,
|
||||||
|
"backend": "tokenizers",
|
||||||
|
"bos_token": "<|end_of_text|>",
|
||||||
|
"eos_token": "<|im_end|>",
|
||||||
|
"errors": "replace",
|
||||||
|
"model_max_length": 1000000000000000019884624838656,
|
||||||
|
"pad_token": "<fim_pad>",
|
||||||
|
"tokenizer_class": "GPT2Tokenizer",
|
||||||
|
"unk_token": "�"
|
||||||
|
}
|
||||||
174
checkpoint-200/trainer_state.json
Normal file
174
checkpoint-200/trainer_state.json
Normal file
@@ -0,0 +1,174 @@
|
|||||||
|
{
|
||||||
|
"best_global_step": null,
|
||||||
|
"best_metric": null,
|
||||||
|
"best_model_checkpoint": null,
|
||||||
|
"epoch": 1.5161290322580645,
|
||||||
|
"eval_steps": 500,
|
||||||
|
"global_step": 200,
|
||||||
|
"is_hyper_param_search": false,
|
||||||
|
"is_local_process_zero": true,
|
||||||
|
"is_world_process_zero": true,
|
||||||
|
"log_history": [
|
||||||
|
{
|
||||||
|
"epoch": 0.07590132827324478,
|
||||||
|
"grad_norm": 22.0,
|
||||||
|
"learning_rate": 9e-08,
|
||||||
|
"loss": 1.0496648788452148,
|
||||||
|
"step": 10
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.15180265654648956,
|
||||||
|
"grad_norm": 21.5,
|
||||||
|
"learning_rate": 1.8999999999999998e-07,
|
||||||
|
"loss": 1.0672600746154786,
|
||||||
|
"step": 20
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.22770398481973433,
|
||||||
|
"grad_norm": 23.375,
|
||||||
|
"learning_rate": 2.9e-07,
|
||||||
|
"loss": 1.074104118347168,
|
||||||
|
"step": 30
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.3036053130929791,
|
||||||
|
"grad_norm": 19.0,
|
||||||
|
"learning_rate": 3.8999999999999997e-07,
|
||||||
|
"loss": 1.0784456253051757,
|
||||||
|
"step": 40
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.3795066413662239,
|
||||||
|
"grad_norm": 21.25,
|
||||||
|
"learning_rate": 4.9e-07,
|
||||||
|
"loss": 1.0631229400634765,
|
||||||
|
"step": 50
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.45540796963946867,
|
||||||
|
"grad_norm": 18.625,
|
||||||
|
"learning_rate": 5.9e-07,
|
||||||
|
"loss": 1.0021364212036132,
|
||||||
|
"step": 60
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.5313092979127134,
|
||||||
|
"grad_norm": 19.625,
|
||||||
|
"learning_rate": 6.9e-07,
|
||||||
|
"loss": 1.0368730545043945,
|
||||||
|
"step": 70
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.6072106261859582,
|
||||||
|
"grad_norm": 13.1875,
|
||||||
|
"learning_rate": 7.9e-07,
|
||||||
|
"loss": 0.9585152626037597,
|
||||||
|
"step": 80
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.683111954459203,
|
||||||
|
"grad_norm": 10.4375,
|
||||||
|
"learning_rate": 8.9e-07,
|
||||||
|
"loss": 0.8780872344970703,
|
||||||
|
"step": 90
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.7590132827324478,
|
||||||
|
"grad_norm": 6.84375,
|
||||||
|
"learning_rate": 9.9e-07,
|
||||||
|
"loss": 0.8695860862731933,
|
||||||
|
"step": 100
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.8349146110056926,
|
||||||
|
"grad_norm": 3.3125,
|
||||||
|
"learning_rate": 9.977206495402552e-07,
|
||||||
|
"loss": 0.8098324775695801,
|
||||||
|
"step": 110
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.9108159392789373,
|
||||||
|
"grad_norm": 2.96875,
|
||||||
|
"learning_rate": 9.898680903107666e-07,
|
||||||
|
"loss": 0.8349854469299316,
|
||||||
|
"step": 120
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.9867172675521821,
|
||||||
|
"grad_norm": 2.9375,
|
||||||
|
"learning_rate": 9.76502534086636e-07,
|
||||||
|
"loss": 0.8502012252807617,
|
||||||
|
"step": 130
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.060721062618596,
|
||||||
|
"grad_norm": 2.78125,
|
||||||
|
"learning_rate": 9.577743974243872e-07,
|
||||||
|
"loss": 0.7735446929931641,
|
||||||
|
"step": 140
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.1366223908918407,
|
||||||
|
"grad_norm": 3.359375,
|
||||||
|
"learning_rate": 9.338944475962236e-07,
|
||||||
|
"loss": 0.8373490333557129,
|
||||||
|
"step": 150
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.2125237191650853,
|
||||||
|
"grad_norm": 2.59375,
|
||||||
|
"learning_rate": 9.051314306058933e-07,
|
||||||
|
"loss": 0.8185565948486329,
|
||||||
|
"step": 160
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.2884250474383303,
|
||||||
|
"grad_norm": 2.9375,
|
||||||
|
"learning_rate": 8.718090467093653e-07,
|
||||||
|
"loss": 0.8056498527526855,
|
||||||
|
"step": 170
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.364326375711575,
|
||||||
|
"grad_norm": 2.59375,
|
||||||
|
"learning_rate": 8.343023074779368e-07,
|
||||||
|
"loss": 0.8409146308898926,
|
||||||
|
"step": 180
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.4402277039848197,
|
||||||
|
"grad_norm": 3.390625,
|
||||||
|
"learning_rate": 7.930333154015465e-07,
|
||||||
|
"loss": 0.7972420215606689,
|
||||||
|
"step": 190
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.5161290322580645,
|
||||||
|
"grad_norm": 2.546875,
|
||||||
|
"learning_rate": 7.484665135288213e-07,
|
||||||
|
"loss": 0.8233073234558106,
|
||||||
|
"step": 200
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"logging_steps": 10,
|
||||||
|
"max_steps": 396,
|
||||||
|
"num_input_tokens_seen": 0,
|
||||||
|
"num_train_epochs": 3,
|
||||||
|
"save_steps": 100,
|
||||||
|
"stateful_callbacks": {
|
||||||
|
"TrainerControl": {
|
||||||
|
"args": {
|
||||||
|
"should_epoch_stop": false,
|
||||||
|
"should_evaluate": false,
|
||||||
|
"should_log": false,
|
||||||
|
"should_save": true,
|
||||||
|
"should_training_stop": false
|
||||||
|
},
|
||||||
|
"attributes": {}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"total_flos": 1.5609208575983616e+17,
|
||||||
|
"train_batch_size": 4,
|
||||||
|
"trial_name": null,
|
||||||
|
"trial_params": null
|
||||||
|
}
|
||||||
3
checkpoint-200/training_args.bin
Normal file
3
checkpoint-200/training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:0c046e33cd8fc19c158792bb00b2580a5dcc0c5b7d92fa961dea01e4c3b0aa96
|
||||||
|
size 5585
|
||||||
8
checkpoint-300/chat_template.jinja
Normal file
8
checkpoint-300/chat_template.jinja
Normal file
@@ -0,0 +1,8 @@
|
|||||||
|
{% for message in messages %}{% if message['role'] == 'user' %}{{'<|im_start|>user
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
'}}{% elif message['role'] == 'assistant' %}{{'<|im_start|>assistant
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
' }}{% else %}{{ '<|im_start|>system
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
' }}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
|
||||||
|
' }}{% endif %}
|
||||||
37
checkpoint-300/config.json
Normal file
37
checkpoint-300/config.json
Normal file
@@ -0,0 +1,37 @@
|
|||||||
|
{
|
||||||
|
"architectures": [
|
||||||
|
"GraniteForCausalLM"
|
||||||
|
],
|
||||||
|
"attention_bias": false,
|
||||||
|
"attention_dropout": 0.0,
|
||||||
|
"attention_multiplier": 0.0078125,
|
||||||
|
"bos_token_id": 49155,
|
||||||
|
"dtype": "bfloat16",
|
||||||
|
"embedding_multiplier": 12.0,
|
||||||
|
"eos_token_id": 0,
|
||||||
|
"hidden_act": "silu",
|
||||||
|
"hidden_size": 4096,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"intermediate_size": 12800,
|
||||||
|
"logits_scaling": 16.0,
|
||||||
|
"max_position_embeddings": 131072,
|
||||||
|
"mlp_bias": false,
|
||||||
|
"model_name": "unsloth/granite-3.2-8b-instruct",
|
||||||
|
"model_type": "granite",
|
||||||
|
"num_attention_heads": 32,
|
||||||
|
"num_hidden_layers": 40,
|
||||||
|
"num_key_value_heads": 8,
|
||||||
|
"pad_token_id": 4,
|
||||||
|
"residual_multiplier": 0.22,
|
||||||
|
"rms_norm_eps": 1e-05,
|
||||||
|
"rope_parameters": {
|
||||||
|
"rope_theta": 10000000.0,
|
||||||
|
"rope_type": "default"
|
||||||
|
},
|
||||||
|
"tie_word_embeddings": true,
|
||||||
|
"transformers_version": "5.2.0",
|
||||||
|
"unsloth_fixed": true,
|
||||||
|
"unsloth_version": "2026.3.3",
|
||||||
|
"use_cache": false,
|
||||||
|
"vocab_size": 49155
|
||||||
|
}
|
||||||
10
checkpoint-300/generation_config.json
Normal file
10
checkpoint-300/generation_config.json
Normal file
@@ -0,0 +1,10 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 49155,
|
||||||
|
"eos_token_id": [
|
||||||
|
0
|
||||||
|
],
|
||||||
|
"max_length": 131072,
|
||||||
|
"pad_token_id": 4,
|
||||||
|
"transformers_version": "5.2.0"
|
||||||
|
}
|
||||||
3
checkpoint-300/model.safetensors
Normal file
3
checkpoint-300/model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:94f3b84d88e1f1b950a8780c4923d27a42eec4917c054d2ce5409f14c79a6f25
|
||||||
|
size 16341738952
|
||||||
3
checkpoint-300/optimizer.pt
Normal file
3
checkpoint-300/optimizer.pt
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:cf1123ace49d03285e9c49420de50d320ecde4febcdcdc77350355f49f9e0039
|
||||||
|
size 32683715489
|
||||||
3
checkpoint-300/scheduler.pt
Normal file
3
checkpoint-300/scheduler.pt
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:f118a3f586351417bd05f009d8dd34f692f77467b6f137e63a016f383f4a8907
|
||||||
|
size 1465
|
||||||
244972
checkpoint-300/tokenizer.json
Normal file
244972
checkpoint-300/tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
11
checkpoint-300/tokenizer_config.json
Normal file
11
checkpoint-300/tokenizer_config.json
Normal file
@@ -0,0 +1,11 @@
|
|||||||
|
{
|
||||||
|
"add_prefix_space": false,
|
||||||
|
"backend": "tokenizers",
|
||||||
|
"bos_token": "<|end_of_text|>",
|
||||||
|
"eos_token": "<|im_end|>",
|
||||||
|
"errors": "replace",
|
||||||
|
"model_max_length": 1000000000000000019884624838656,
|
||||||
|
"pad_token": "<fim_pad>",
|
||||||
|
"tokenizer_class": "GPT2Tokenizer",
|
||||||
|
"unk_token": "�"
|
||||||
|
}
|
||||||
244
checkpoint-300/trainer_state.json
Normal file
244
checkpoint-300/trainer_state.json
Normal file
@@ -0,0 +1,244 @@
|
|||||||
|
{
|
||||||
|
"best_global_step": null,
|
||||||
|
"best_metric": null,
|
||||||
|
"best_model_checkpoint": null,
|
||||||
|
"epoch": 2.2732447817836814,
|
||||||
|
"eval_steps": 500,
|
||||||
|
"global_step": 300,
|
||||||
|
"is_hyper_param_search": false,
|
||||||
|
"is_local_process_zero": true,
|
||||||
|
"is_world_process_zero": true,
|
||||||
|
"log_history": [
|
||||||
|
{
|
||||||
|
"epoch": 0.07590132827324478,
|
||||||
|
"grad_norm": 22.0,
|
||||||
|
"learning_rate": 9e-08,
|
||||||
|
"loss": 1.0496648788452148,
|
||||||
|
"step": 10
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.15180265654648956,
|
||||||
|
"grad_norm": 21.5,
|
||||||
|
"learning_rate": 1.8999999999999998e-07,
|
||||||
|
"loss": 1.0672600746154786,
|
||||||
|
"step": 20
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.22770398481973433,
|
||||||
|
"grad_norm": 23.375,
|
||||||
|
"learning_rate": 2.9e-07,
|
||||||
|
"loss": 1.074104118347168,
|
||||||
|
"step": 30
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.3036053130929791,
|
||||||
|
"grad_norm": 19.0,
|
||||||
|
"learning_rate": 3.8999999999999997e-07,
|
||||||
|
"loss": 1.0784456253051757,
|
||||||
|
"step": 40
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.3795066413662239,
|
||||||
|
"grad_norm": 21.25,
|
||||||
|
"learning_rate": 4.9e-07,
|
||||||
|
"loss": 1.0631229400634765,
|
||||||
|
"step": 50
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.45540796963946867,
|
||||||
|
"grad_norm": 18.625,
|
||||||
|
"learning_rate": 5.9e-07,
|
||||||
|
"loss": 1.0021364212036132,
|
||||||
|
"step": 60
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.5313092979127134,
|
||||||
|
"grad_norm": 19.625,
|
||||||
|
"learning_rate": 6.9e-07,
|
||||||
|
"loss": 1.0368730545043945,
|
||||||
|
"step": 70
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.6072106261859582,
|
||||||
|
"grad_norm": 13.1875,
|
||||||
|
"learning_rate": 7.9e-07,
|
||||||
|
"loss": 0.9585152626037597,
|
||||||
|
"step": 80
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.683111954459203,
|
||||||
|
"grad_norm": 10.4375,
|
||||||
|
"learning_rate": 8.9e-07,
|
||||||
|
"loss": 0.8780872344970703,
|
||||||
|
"step": 90
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.7590132827324478,
|
||||||
|
"grad_norm": 6.84375,
|
||||||
|
"learning_rate": 9.9e-07,
|
||||||
|
"loss": 0.8695860862731933,
|
||||||
|
"step": 100
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.8349146110056926,
|
||||||
|
"grad_norm": 3.3125,
|
||||||
|
"learning_rate": 9.977206495402552e-07,
|
||||||
|
"loss": 0.8098324775695801,
|
||||||
|
"step": 110
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.9108159392789373,
|
||||||
|
"grad_norm": 2.96875,
|
||||||
|
"learning_rate": 9.898680903107666e-07,
|
||||||
|
"loss": 0.8349854469299316,
|
||||||
|
"step": 120
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.9867172675521821,
|
||||||
|
"grad_norm": 2.9375,
|
||||||
|
"learning_rate": 9.76502534086636e-07,
|
||||||
|
"loss": 0.8502012252807617,
|
||||||
|
"step": 130
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.060721062618596,
|
||||||
|
"grad_norm": 2.78125,
|
||||||
|
"learning_rate": 9.577743974243872e-07,
|
||||||
|
"loss": 0.7735446929931641,
|
||||||
|
"step": 140
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.1366223908918407,
|
||||||
|
"grad_norm": 3.359375,
|
||||||
|
"learning_rate": 9.338944475962236e-07,
|
||||||
|
"loss": 0.8373490333557129,
|
||||||
|
"step": 150
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.2125237191650853,
|
||||||
|
"grad_norm": 2.59375,
|
||||||
|
"learning_rate": 9.051314306058933e-07,
|
||||||
|
"loss": 0.8185565948486329,
|
||||||
|
"step": 160
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.2884250474383303,
|
||||||
|
"grad_norm": 2.9375,
|
||||||
|
"learning_rate": 8.718090467093653e-07,
|
||||||
|
"loss": 0.8056498527526855,
|
||||||
|
"step": 170
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.364326375711575,
|
||||||
|
"grad_norm": 2.59375,
|
||||||
|
"learning_rate": 8.343023074779368e-07,
|
||||||
|
"loss": 0.8409146308898926,
|
||||||
|
"step": 180
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.4402277039848197,
|
||||||
|
"grad_norm": 3.390625,
|
||||||
|
"learning_rate": 7.930333154015465e-07,
|
||||||
|
"loss": 0.7972420215606689,
|
||||||
|
"step": 190
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.5161290322580645,
|
||||||
|
"grad_norm": 2.546875,
|
||||||
|
"learning_rate": 7.484665135288213e-07,
|
||||||
|
"loss": 0.8233073234558106,
|
||||||
|
"step": 200
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.5920303605313093,
|
||||||
|
"grad_norm": 2.640625,
|
||||||
|
"learning_rate": 7.011034586046176e-07,
|
||||||
|
"loss": 0.8327888488769531,
|
||||||
|
"step": 210
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.6679316888045541,
|
||||||
|
"grad_norm": 2.65625,
|
||||||
|
"learning_rate": 6.514771765283942e-07,
|
||||||
|
"loss": 0.7899296283721924,
|
||||||
|
"step": 220
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.7438330170777987,
|
||||||
|
"grad_norm": 2.984375,
|
||||||
|
"learning_rate": 6.001461636573396e-07,
|
||||||
|
"loss": 0.7956095695495605,
|
||||||
|
"step": 230
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.8197343453510437,
|
||||||
|
"grad_norm": 3.625,
|
||||||
|
"learning_rate": 5.47688101463849e-07,
|
||||||
|
"loss": 0.8178939819335938,
|
||||||
|
"step": 240
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.8956356736242883,
|
||||||
|
"grad_norm": 2.828125,
|
||||||
|
"learning_rate": 4.946933552828719e-07,
|
||||||
|
"loss": 0.8414199829101563,
|
||||||
|
"step": 250
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.9715370018975333,
|
||||||
|
"grad_norm": 2.375,
|
||||||
|
"learning_rate": 4.417583303145147e-07,
|
||||||
|
"loss": 0.797624921798706,
|
||||||
|
"step": 260
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.0455407969639468,
|
||||||
|
"grad_norm": 2.890625,
|
||||||
|
"learning_rate": 3.894787596537351e-07,
|
||||||
|
"loss": 0.8394969940185547,
|
||||||
|
"step": 270
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.121442125237192,
|
||||||
|
"grad_norm": 2.375,
|
||||||
|
"learning_rate": 3.384429998839375e-07,
|
||||||
|
"loss": 0.799235200881958,
|
||||||
|
"step": 280
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.1973434535104364,
|
||||||
|
"grad_norm": 2.46875,
|
||||||
|
"learning_rate": 2.8922540968615283e-07,
|
||||||
|
"loss": 0.8156853675842285,
|
||||||
|
"step": 290
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.2732447817836814,
|
||||||
|
"grad_norm": 2.421875,
|
||||||
|
"learning_rate": 2.423798859812275e-07,
|
||||||
|
"loss": 0.8007305145263672,
|
||||||
|
"step": 300
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"logging_steps": 10,
|
||||||
|
"max_steps": 396,
|
||||||
|
"num_input_tokens_seen": 0,
|
||||||
|
"num_train_epochs": 3,
|
||||||
|
"save_steps": 100,
|
||||||
|
"stateful_callbacks": {
|
||||||
|
"TrainerControl": {
|
||||||
|
"args": {
|
||||||
|
"should_epoch_stop": false,
|
||||||
|
"should_evaluate": false,
|
||||||
|
"should_log": false,
|
||||||
|
"should_save": true,
|
||||||
|
"should_training_stop": false
|
||||||
|
},
|
||||||
|
"attributes": {}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"total_flos": 2.3395087704745574e+17,
|
||||||
|
"train_batch_size": 4,
|
||||||
|
"trial_name": null,
|
||||||
|
"trial_params": null
|
||||||
|
}
|
||||||
3
checkpoint-300/training_args.bin
Normal file
3
checkpoint-300/training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:0c046e33cd8fc19c158792bb00b2580a5dcc0c5b7d92fa961dea01e4c3b0aa96
|
||||||
|
size 5585
|
||||||
8
checkpoint-396/chat_template.jinja
Normal file
8
checkpoint-396/chat_template.jinja
Normal file
@@ -0,0 +1,8 @@
|
|||||||
|
{% for message in messages %}{% if message['role'] == 'user' %}{{'<|im_start|>user
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
'}}{% elif message['role'] == 'assistant' %}{{'<|im_start|>assistant
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
' }}{% else %}{{ '<|im_start|>system
|
||||||
|
' + message['content'] + '<|im_end|>
|
||||||
|
' }}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
|
||||||
|
' }}{% endif %}
|
||||||
37
checkpoint-396/config.json
Normal file
37
checkpoint-396/config.json
Normal file
@@ -0,0 +1,37 @@
|
|||||||
|
{
|
||||||
|
"architectures": [
|
||||||
|
"GraniteForCausalLM"
|
||||||
|
],
|
||||||
|
"attention_bias": false,
|
||||||
|
"attention_dropout": 0.0,
|
||||||
|
"attention_multiplier": 0.0078125,
|
||||||
|
"bos_token_id": 49155,
|
||||||
|
"dtype": "bfloat16",
|
||||||
|
"embedding_multiplier": 12.0,
|
||||||
|
"eos_token_id": 0,
|
||||||
|
"hidden_act": "silu",
|
||||||
|
"hidden_size": 4096,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"intermediate_size": 12800,
|
||||||
|
"logits_scaling": 16.0,
|
||||||
|
"max_position_embeddings": 131072,
|
||||||
|
"mlp_bias": false,
|
||||||
|
"model_name": "unsloth/granite-3.2-8b-instruct",
|
||||||
|
"model_type": "granite",
|
||||||
|
"num_attention_heads": 32,
|
||||||
|
"num_hidden_layers": 40,
|
||||||
|
"num_key_value_heads": 8,
|
||||||
|
"pad_token_id": 4,
|
||||||
|
"residual_multiplier": 0.22,
|
||||||
|
"rms_norm_eps": 1e-05,
|
||||||
|
"rope_parameters": {
|
||||||
|
"rope_theta": 10000000.0,
|
||||||
|
"rope_type": "default"
|
||||||
|
},
|
||||||
|
"tie_word_embeddings": true,
|
||||||
|
"transformers_version": "5.2.0",
|
||||||
|
"unsloth_fixed": true,
|
||||||
|
"unsloth_version": "2026.3.3",
|
||||||
|
"use_cache": false,
|
||||||
|
"vocab_size": 49155
|
||||||
|
}
|
||||||
10
checkpoint-396/generation_config.json
Normal file
10
checkpoint-396/generation_config.json
Normal file
@@ -0,0 +1,10 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 49155,
|
||||||
|
"eos_token_id": [
|
||||||
|
0
|
||||||
|
],
|
||||||
|
"max_length": 131072,
|
||||||
|
"pad_token_id": 4,
|
||||||
|
"transformers_version": "5.2.0"
|
||||||
|
}
|
||||||
3
checkpoint-396/model.safetensors
Normal file
3
checkpoint-396/model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:0471d86a191472a13362389dfba676c8d49e7ad305be8ec9fa2c7c77fdd5141f
|
||||||
|
size 16341738952
|
||||||
3
checkpoint-396/optimizer.pt
Normal file
3
checkpoint-396/optimizer.pt
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:ca9e38e13f18e235e3f25f04751807718b6ffcb4d30bc854c1b16bf3fc5a0b34
|
||||||
|
size 32683715489
|
||||||
3
checkpoint-396/scheduler.pt
Normal file
3
checkpoint-396/scheduler.pt
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:d5e92d67b7108e6f3d71b47db2ab0c5db7b246da82774c07a3d7512ebb201a1a
|
||||||
|
size 1465
|
||||||
244972
checkpoint-396/tokenizer.json
Normal file
244972
checkpoint-396/tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
11
checkpoint-396/tokenizer_config.json
Normal file
11
checkpoint-396/tokenizer_config.json
Normal file
@@ -0,0 +1,11 @@
|
|||||||
|
{
|
||||||
|
"add_prefix_space": false,
|
||||||
|
"backend": "tokenizers",
|
||||||
|
"bos_token": "<|end_of_text|>",
|
||||||
|
"eos_token": "<|im_end|>",
|
||||||
|
"errors": "replace",
|
||||||
|
"model_max_length": 1000000000000000019884624838656,
|
||||||
|
"pad_token": "<fim_pad>",
|
||||||
|
"tokenizer_class": "GPT2Tokenizer",
|
||||||
|
"unk_token": "�"
|
||||||
|
}
|
||||||
307
checkpoint-396/trainer_state.json
Normal file
307
checkpoint-396/trainer_state.json
Normal file
@@ -0,0 +1,307 @@
|
|||||||
|
{
|
||||||
|
"best_global_step": null,
|
||||||
|
"best_metric": null,
|
||||||
|
"best_model_checkpoint": null,
|
||||||
|
"epoch": 3.0,
|
||||||
|
"eval_steps": 500,
|
||||||
|
"global_step": 396,
|
||||||
|
"is_hyper_param_search": false,
|
||||||
|
"is_local_process_zero": true,
|
||||||
|
"is_world_process_zero": true,
|
||||||
|
"log_history": [
|
||||||
|
{
|
||||||
|
"epoch": 0.07590132827324478,
|
||||||
|
"grad_norm": 22.0,
|
||||||
|
"learning_rate": 9e-08,
|
||||||
|
"loss": 1.0496648788452148,
|
||||||
|
"step": 10
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.15180265654648956,
|
||||||
|
"grad_norm": 21.5,
|
||||||
|
"learning_rate": 1.8999999999999998e-07,
|
||||||
|
"loss": 1.0672600746154786,
|
||||||
|
"step": 20
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.22770398481973433,
|
||||||
|
"grad_norm": 23.375,
|
||||||
|
"learning_rate": 2.9e-07,
|
||||||
|
"loss": 1.074104118347168,
|
||||||
|
"step": 30
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.3036053130929791,
|
||||||
|
"grad_norm": 19.0,
|
||||||
|
"learning_rate": 3.8999999999999997e-07,
|
||||||
|
"loss": 1.0784456253051757,
|
||||||
|
"step": 40
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.3795066413662239,
|
||||||
|
"grad_norm": 21.25,
|
||||||
|
"learning_rate": 4.9e-07,
|
||||||
|
"loss": 1.0631229400634765,
|
||||||
|
"step": 50
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.45540796963946867,
|
||||||
|
"grad_norm": 18.625,
|
||||||
|
"learning_rate": 5.9e-07,
|
||||||
|
"loss": 1.0021364212036132,
|
||||||
|
"step": 60
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.5313092979127134,
|
||||||
|
"grad_norm": 19.625,
|
||||||
|
"learning_rate": 6.9e-07,
|
||||||
|
"loss": 1.0368730545043945,
|
||||||
|
"step": 70
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.6072106261859582,
|
||||||
|
"grad_norm": 13.1875,
|
||||||
|
"learning_rate": 7.9e-07,
|
||||||
|
"loss": 0.9585152626037597,
|
||||||
|
"step": 80
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.683111954459203,
|
||||||
|
"grad_norm": 10.4375,
|
||||||
|
"learning_rate": 8.9e-07,
|
||||||
|
"loss": 0.8780872344970703,
|
||||||
|
"step": 90
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.7590132827324478,
|
||||||
|
"grad_norm": 6.84375,
|
||||||
|
"learning_rate": 9.9e-07,
|
||||||
|
"loss": 0.8695860862731933,
|
||||||
|
"step": 100
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.8349146110056926,
|
||||||
|
"grad_norm": 3.3125,
|
||||||
|
"learning_rate": 9.977206495402552e-07,
|
||||||
|
"loss": 0.8098324775695801,
|
||||||
|
"step": 110
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.9108159392789373,
|
||||||
|
"grad_norm": 2.96875,
|
||||||
|
"learning_rate": 9.898680903107666e-07,
|
||||||
|
"loss": 0.8349854469299316,
|
||||||
|
"step": 120
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 0.9867172675521821,
|
||||||
|
"grad_norm": 2.9375,
|
||||||
|
"learning_rate": 9.76502534086636e-07,
|
||||||
|
"loss": 0.8502012252807617,
|
||||||
|
"step": 130
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.060721062618596,
|
||||||
|
"grad_norm": 2.78125,
|
||||||
|
"learning_rate": 9.577743974243872e-07,
|
||||||
|
"loss": 0.7735446929931641,
|
||||||
|
"step": 140
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.1366223908918407,
|
||||||
|
"grad_norm": 3.359375,
|
||||||
|
"learning_rate": 9.338944475962236e-07,
|
||||||
|
"loss": 0.8373490333557129,
|
||||||
|
"step": 150
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.2125237191650853,
|
||||||
|
"grad_norm": 2.59375,
|
||||||
|
"learning_rate": 9.051314306058933e-07,
|
||||||
|
"loss": 0.8185565948486329,
|
||||||
|
"step": 160
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.2884250474383303,
|
||||||
|
"grad_norm": 2.9375,
|
||||||
|
"learning_rate": 8.718090467093653e-07,
|
||||||
|
"loss": 0.8056498527526855,
|
||||||
|
"step": 170
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.364326375711575,
|
||||||
|
"grad_norm": 2.59375,
|
||||||
|
"learning_rate": 8.343023074779368e-07,
|
||||||
|
"loss": 0.8409146308898926,
|
||||||
|
"step": 180
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.4402277039848197,
|
||||||
|
"grad_norm": 3.390625,
|
||||||
|
"learning_rate": 7.930333154015465e-07,
|
||||||
|
"loss": 0.7972420215606689,
|
||||||
|
"step": 190
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.5161290322580645,
|
||||||
|
"grad_norm": 2.546875,
|
||||||
|
"learning_rate": 7.484665135288213e-07,
|
||||||
|
"loss": 0.8233073234558106,
|
||||||
|
"step": 200
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.5920303605313093,
|
||||||
|
"grad_norm": 2.640625,
|
||||||
|
"learning_rate": 7.011034586046176e-07,
|
||||||
|
"loss": 0.8327888488769531,
|
||||||
|
"step": 210
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.6679316888045541,
|
||||||
|
"grad_norm": 2.65625,
|
||||||
|
"learning_rate": 6.514771765283942e-07,
|
||||||
|
"loss": 0.7899296283721924,
|
||||||
|
"step": 220
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.7438330170777987,
|
||||||
|
"grad_norm": 2.984375,
|
||||||
|
"learning_rate": 6.001461636573396e-07,
|
||||||
|
"loss": 0.7956095695495605,
|
||||||
|
"step": 230
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.8197343453510437,
|
||||||
|
"grad_norm": 3.625,
|
||||||
|
"learning_rate": 5.47688101463849e-07,
|
||||||
|
"loss": 0.8178939819335938,
|
||||||
|
"step": 240
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.8956356736242883,
|
||||||
|
"grad_norm": 2.828125,
|
||||||
|
"learning_rate": 4.946933552828719e-07,
|
||||||
|
"loss": 0.8414199829101563,
|
||||||
|
"step": 250
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 1.9715370018975333,
|
||||||
|
"grad_norm": 2.375,
|
||||||
|
"learning_rate": 4.417583303145147e-07,
|
||||||
|
"loss": 0.797624921798706,
|
||||||
|
"step": 260
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.0455407969639468,
|
||||||
|
"grad_norm": 2.890625,
|
||||||
|
"learning_rate": 3.894787596537351e-07,
|
||||||
|
"loss": 0.8394969940185547,
|
||||||
|
"step": 270
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.121442125237192,
|
||||||
|
"grad_norm": 2.375,
|
||||||
|
"learning_rate": 3.384429998839375e-07,
|
||||||
|
"loss": 0.799235200881958,
|
||||||
|
"step": 280
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.1973434535104364,
|
||||||
|
"grad_norm": 2.46875,
|
||||||
|
"learning_rate": 2.8922540968615283e-07,
|
||||||
|
"loss": 0.8156853675842285,
|
||||||
|
"step": 290
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.2732447817836814,
|
||||||
|
"grad_norm": 2.421875,
|
||||||
|
"learning_rate": 2.423798859812275e-07,
|
||||||
|
"loss": 0.8007305145263672,
|
||||||
|
"step": 300
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.349146110056926,
|
||||||
|
"grad_norm": 2.5,
|
||||||
|
"learning_rate": 1.9843363034955795e-07,
|
||||||
|
"loss": 0.8174427032470704,
|
||||||
|
"step": 310
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.4250474383301706,
|
||||||
|
"grad_norm": 2.203125,
|
||||||
|
"learning_rate": 1.5788121588135972e-07,
|
||||||
|
"loss": 0.7784779071807861,
|
||||||
|
"step": 320
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.5009487666034156,
|
||||||
|
"grad_norm": 2.703125,
|
||||||
|
"learning_rate": 1.211790212293986e-07,
|
||||||
|
"loss": 0.8244176864624023,
|
||||||
|
"step": 330
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.5768500948766606,
|
||||||
|
"grad_norm": 2.828125,
|
||||||
|
"learning_rate": 8.874009450359426e-08,
|
||||||
|
"loss": 0.831035041809082,
|
||||||
|
"step": 340
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.652751423149905,
|
||||||
|
"grad_norm": 2.34375,
|
||||||
|
"learning_rate": 6.092950480945897e-08,
|
||||||
|
"loss": 0.7749196052551269,
|
||||||
|
"step": 350
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.72865275142315,
|
||||||
|
"grad_norm": 2.328125,
|
||||||
|
"learning_rate": 3.806023374435663e-08,
|
||||||
|
"loss": 0.8048405647277832,
|
||||||
|
"step": 360
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.804554079696395,
|
||||||
|
"grad_norm": 2.625,
|
||||||
|
"learning_rate": 2.0389653088865033e-08,
|
||||||
|
"loss": 0.8310153961181641,
|
||||||
|
"step": 370
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.8804554079696394,
|
||||||
|
"grad_norm": 2.78125,
|
||||||
|
"learning_rate": 8.11662833345822e-09,
|
||||||
|
"loss": 0.8102119445800782,
|
||||||
|
"step": 380
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"epoch": 2.956356736242884,
|
||||||
|
"grad_norm": 2.453125,
|
||||||
|
"learning_rate": 1.3792806375464427e-09,
|
||||||
|
"loss": 0.7998002052307129,
|
||||||
|
"step": 390
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"logging_steps": 10,
|
||||||
|
"max_steps": 396,
|
||||||
|
"num_input_tokens_seen": 0,
|
||||||
|
"num_train_epochs": 3,
|
||||||
|
"save_steps": 100,
|
||||||
|
"stateful_callbacks": {
|
||||||
|
"TrainerControl": {
|
||||||
|
"args": {
|
||||||
|
"should_epoch_stop": false,
|
||||||
|
"should_evaluate": false,
|
||||||
|
"should_log": false,
|
||||||
|
"should_save": true,
|
||||||
|
"should_training_stop": true
|
||||||
|
},
|
||||||
|
"attributes": {}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"total_flos": 3.087240815119319e+17,
|
||||||
|
"train_batch_size": 4,
|
||||||
|
"trial_name": null,
|
||||||
|
"trial_params": null
|
||||||
|
}
|
||||||
3
checkpoint-396/training_args.bin
Normal file
3
checkpoint-396/training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:0c046e33cd8fc19c158792bb00b2580a5dcc0c5b7d92fa961dea01e4c3b0aa96
|
||||||
|
size 5585
|
||||||
37
config.json
Normal file
37
config.json
Normal file
@@ -0,0 +1,37 @@
|
|||||||
|
{
|
||||||
|
"architectures": [
|
||||||
|
"GraniteForCausalLM"
|
||||||
|
],
|
||||||
|
"attention_bias": false,
|
||||||
|
"attention_dropout": 0.0,
|
||||||
|
"attention_multiplier": 0.0078125,
|
||||||
|
"bos_token_id": 49155,
|
||||||
|
"dtype": "bfloat16",
|
||||||
|
"embedding_multiplier": 12.0,
|
||||||
|
"eos_token_id": 0,
|
||||||
|
"hidden_act": "silu",
|
||||||
|
"hidden_size": 4096,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"intermediate_size": 12800,
|
||||||
|
"logits_scaling": 16.0,
|
||||||
|
"max_position_embeddings": 131072,
|
||||||
|
"mlp_bias": false,
|
||||||
|
"model_name": "unsloth/granite-3.2-8b-instruct",
|
||||||
|
"model_type": "granite",
|
||||||
|
"num_attention_heads": 32,
|
||||||
|
"num_hidden_layers": 40,
|
||||||
|
"num_key_value_heads": 8,
|
||||||
|
"pad_token_id": 4,
|
||||||
|
"residual_multiplier": 0.22,
|
||||||
|
"rms_norm_eps": 1e-05,
|
||||||
|
"rope_parameters": {
|
||||||
|
"rope_theta": 10000000.0,
|
||||||
|
"rope_type": "default"
|
||||||
|
},
|
||||||
|
"tie_word_embeddings": true,
|
||||||
|
"transformers_version": "5.2.0",
|
||||||
|
"unsloth_fixed": true,
|
||||||
|
"unsloth_version": "2026.3.3",
|
||||||
|
"use_cache": false,
|
||||||
|
"vocab_size": 49155
|
||||||
|
}
|
||||||
10
generation_config.json
Normal file
10
generation_config.json
Normal file
@@ -0,0 +1,10 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 49155,
|
||||||
|
"eos_token_id": [
|
||||||
|
0
|
||||||
|
],
|
||||||
|
"max_length": 131072,
|
||||||
|
"pad_token_id": 4,
|
||||||
|
"transformers_version": "5.2.0"
|
||||||
|
}
|
||||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:0471d86a191472a13362389dfba676c8d49e7ad305be8ec9fa2c7c77fdd5141f
|
||||||
|
size 16341738952
|
||||||
244972
tokenizer.json
Normal file
244972
tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
11
tokenizer_config.json
Normal file
11
tokenizer_config.json
Normal file
@@ -0,0 +1,11 @@
|
|||||||
|
{
|
||||||
|
"add_prefix_space": false,
|
||||||
|
"backend": "tokenizers",
|
||||||
|
"bos_token": "<|end_of_text|>",
|
||||||
|
"eos_token": "<|im_end|>",
|
||||||
|
"errors": "replace",
|
||||||
|
"model_max_length": 1000000000000000019884624838656,
|
||||||
|
"pad_token": "<fim_pad>",
|
||||||
|
"tokenizer_class": "GPT2Tokenizer",
|
||||||
|
"unk_token": "�"
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user