frameworks, license, base_model, tasks, language, tags
| frameworks | license | base_model | tasks | language | tags | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Apache License 2.0 |
|
|
|
|
Rombos-LLM-V2.6-Qwen-14b High-performance finetuned
- 同系合集 Rombos-LLM-Qwen2.5
Download
SDK下载
#安装ModelScope
pip install modelscope
#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('okwinds/Rombos-LLM-V2.6-Qwen-14b')
Git下载
#Git模型下载
git clone https://www.modelscope.cn/okwinds/Rombos-LLM-V2.6-Qwen-14b.git
模型简介
本模型转载于 huggingface 上的 rombodawg/Rombos-LLM-V2.6-Qwen-14b
作者介绍到：本模型是一个基于 Qwen/Qwen2.5-14B 的 Continuous Fine-tuning 版本，并通过 TIES-Merging 方法将合并了adapter的 Qwen/Qwen2.5-14B-Instruct 与 Qwen/Qwen2.5-14B 进行了 TIES Merge。这使得本模型的性能优于原始的 base 模型以及 pretrain 后 fine-tune 的 Instruct 模型。
Model tree for okwinds/Rombos-LLM-V2.6-Qwen-14b
Base model - Qwen/Qwen2.5-14B
╰─ Finetuned - Qwen/Qwen2.5-14B-Instruct
╰─ Finetuned - 本模型 okwinds/Rombos-LLM-V2.6-Qwen-14b
Benchmark
以下摘自 2024-10-29 的 Huggingface 上 Leadboard 排名数据
本模型以 14B 参数量在总榜排名第49。截图：
在 10-32B 参数量模型中排名第7。截图：
在 10-20B 参数量模型中排名第1。
截图中的数据：
| Model | Average️ | IFEval | BBH | MATH Lvl 5 | GPQA | MUSR | MMLU-PRO |
|---|---|---|---|---|---|---|---|
| rombodawg/Rombos-LLM-V2.6-Qwen-14b | 35.89 | 52.14 | 49.22 | 28.85 | 17 | 19.26 | 48.85 |
| rombodawg/Rombos-LLM-V2.5-Qwen-14b | 34.52 | 58.4 | 49.39 | 15.63 | 16.22 | 18.83 | 48.62 |
| Tsunami-th/Tsunami-1.0-14B-Instruct | 34.2 | 78.29 | 49.15 | 0 | 14.21 | 16.34 | 47.21 |
| tanliboy/lambda-qwen2.5-14b-dpo-test | 33.52 | 82.31 | 48.45 | 0 | 14.99 | 12.59 | 42.75 |
| jpacifico/Chocolatine-14B-Instruct-DPO-v1.2 | 33.3 | 68.52 | 49.85 | 17.98 | 10.07 | 12.35 | 41.07 |
| TheTsar1209/qwen-carpmuscle-v0.2 | 33.11 | 52.57 | 48.18 | 25 | 14.09 | 12.75 | 46.08 |
| microsoft/Phi-3-medium-4k-instruct | 32.67 | 64.23 | 49.38 | 16.99 | 11.52 | 13.05 | 40.84 |
| TheTsar1209/qwen-carpmuscle-v0.1 | 32.59 | 56.22 | 48.83 | 21.15 | 12.53 | 10.15 | 46.67 |
| v000000/Qwen2.5-Lumen-14B | 32.2 | 80.64 | 48.51 | 0 | 10.4 | 10.29 | 43.36 |
| Qwen/Qwen2.5-14B-Instruct | 32.18 | 81.58 | 48.36 | 0 | 9.62 | 10.16 | 43.38 |
| v000000/Qwen2.5-14B-Gutenberg-1e-Delta | 32.11 | 80.45 | 48.62 | 0 | 10.51 | 9.38 | 43.67 |
| internlm/internlm2_5-20b-chat | 32.08 | 70.1 | 62.83 | 0 | 9.51 | 16.74 | 33.31 |