Rombos-LLM-V2.6-Qwen-14b/README.md

frameworks, license, base_model, tasks, language, tags

frameworks	license	base_model	tasks	language	tags
Pytorch	Apache License 2.0	Qwen/Qwen2.5-14B-Instruct	text-generation	en cn	Chat Instruct fine-tuned

Rombos-LLM-V2.6-Qwen-14b High-performance finetuned

• 同系合集 Rombos-LLM-Qwen2.5

Download

SDK下载

#安装ModelScope
pip install modelscope

#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('okwinds/Rombos-LLM-V2.6-Qwen-14b')

Git下载

#Git模型下载
git clone https://www.modelscope.cn/okwinds/Rombos-LLM-V2.6-Qwen-14b.git

模型简介

本模型转载于 huggingface 上的 rombodawg/Rombos-LLM-V2.6-Qwen-14b

作者介绍到：本模型是一个基于 Qwen/Qwen2.5-14B 的 Continuous Fine-tuning 版本，并通过 TIES-Merging 方法将合并了adapter的 Qwen/Qwen2.5-14B-Instruct 与 Qwen/Qwen2.5-14B 进行了 TIES Merge。这使得本模型的性能优于原始的 base 模型以及 pretrain 后 fine-tune 的 Instruct 模型。

Model tree for okwinds/Rombos-LLM-V2.6-Qwen-14b
 Base model - Qwen/Qwen2.5-14B
  ╰─ Finetuned - Qwen/Qwen2.5-14B-Instruct
        ╰─ Finetuned - 本模型 okwinds/Rombos-LLM-V2.6-Qwen-14b

Benchmark

以下摘自 2024-10-29 的 Huggingface 上 Leadboard 排名数据

本模型以 14B 参数量在总榜排名第49。截图：

在 10-32B 参数量模型中排名第7。截图：

在 10-20B 参数量模型中排名第1。

截图中的数据：

Model	Average️	IFEval	BBH	MATH Lvl 5	GPQA	MUSR	MMLU-PRO
rombodawg/Rombos-LLM-V2.6-Qwen-14b	35.89	52.14	49.22	28.85	17	19.26	48.85
rombodawg/Rombos-LLM-V2.5-Qwen-14b	34.52	58.4	49.39	15.63	16.22	18.83	48.62
Tsunami-th/Tsunami-1.0-14B-Instruct	34.2	78.29	49.15	0	14.21	16.34	47.21
tanliboy/lambda-qwen2.5-14b-dpo-test	33.52	82.31	48.45	0	14.99	12.59	42.75
jpacifico/Chocolatine-14B-Instruct-DPO-v1.2	33.3	68.52	49.85	17.98	10.07	12.35	41.07
TheTsar1209/qwen-carpmuscle-v0.2	33.11	52.57	48.18	25	14.09	12.75	46.08
microsoft/Phi-3-medium-4k-instruct	32.67	64.23	49.38	16.99	11.52	13.05	40.84
TheTsar1209/qwen-carpmuscle-v0.1	32.59	56.22	48.83	21.15	12.53	10.15	46.67
v000000/Qwen2.5-Lumen-14B	32.2	80.64	48.51	0	10.4	10.29	43.36
Qwen/Qwen2.5-14B-Instruct	32.18	81.58	48.36	0	9.62	10.16	43.38
v000000/Qwen2.5-14B-Gutenberg-1e-Delta	32.11	80.45	48.62	0	10.51	9.38	43.67
internlm/internlm2_5-20b-chat	32.08	70.1	62.83	0	9.51	16.74	33.31