From 8a6ee12c51dde323bc94868259bf17afb1f3bb74 Mon Sep 17 00:00:00 2001 From: ModelHub XC Date: Wed, 8 Jul 2026 11:56:09 +0800 Subject: [PATCH] =?UTF-8?q?=E5=88=9D=E5=A7=8B=E5=8C=96=E9=A1=B9=E7=9B=AE?= =?UTF-8?q?=EF=BC=8C=E7=94=B1ModelHub=20XC=E7=A4=BE=E5=8C=BA=E6=8F=90?= =?UTF-8?q?=E4=BE=9B=E6=A8=A1=E5=9E=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Model: RefalMachine/RuadaptQwen2.5-7B-Lite-Beta-GGUF Source: Original Platform --- .gitattributes | 44 +++++++++++++++++++++++++++++++++ FP16.gguf | 3 +++ Q2_K.gguf | 3 +++ Q3_K_M.gguf | 3 +++ Q4_0.gguf | 3 +++ Q4_K_M.gguf | 3 +++ Q5_0.gguf | 3 +++ Q5_K_M.gguf | 3 +++ Q6_K.gguf | 3 +++ Q8_0.gguf | 3 +++ README.md | 67 ++++++++++++++++++++++++++++++++++++++++++++++++++ 11 files changed, 138 insertions(+) create mode 100644 .gitattributes create mode 100644 FP16.gguf create mode 100644 Q2_K.gguf create mode 100644 Q3_K_M.gguf create mode 100644 Q4_0.gguf create mode 100644 Q4_K_M.gguf create mode 100644 Q5_0.gguf create mode 100644 Q5_K_M.gguf create mode 100644 Q6_K.gguf create mode 100644 Q8_0.gguf create mode 100644 README.md diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..5f83c3a --- /dev/null +++ b/.gitattributes @@ -0,0 +1,44 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +FP16.gguf filter=lfs diff=lfs merge=lfs -text +Q2_K.gguf filter=lfs diff=lfs merge=lfs -text +Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q4_0.gguf filter=lfs diff=lfs merge=lfs -text +Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q5_0.gguf filter=lfs diff=lfs merge=lfs -text +Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q6_K.gguf filter=lfs diff=lfs merge=lfs -text +Q8_0.gguf filter=lfs diff=lfs merge=lfs -text diff --git a/FP16.gguf b/FP16.gguf new file mode 100644 index 0000000..74f56f0 --- /dev/null +++ b/FP16.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:bdb0a575dc6ef9d58cbd2cb92138205c452c3a14b7dc4bb5246249e4ab8c79dd +size 15139868192 diff --git a/Q2_K.gguf b/Q2_K.gguf new file mode 100644 index 0000000..ea9d985 --- /dev/null +++ b/Q2_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6cf95cd6d0ca10a55e269240e5f2c24882c66d37a38fd2b5cefe875f044a4a4a +size 2988595744 diff --git a/Q3_K_M.gguf b/Q3_K_M.gguf new file mode 100644 index 0000000..4d19313 --- /dev/null +++ b/Q3_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:12c756cd1b5a8b3f28aa31edb6bd0d2b1eb2ca140fa95ae9f7fc331adb9e0e52 +size 3778530848 diff --git a/Q4_0.gguf b/Q4_0.gguf new file mode 100644 index 0000000..37a93e4 --- /dev/null +++ b/Q4_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:a314746155175858d5d527ae4f4cb7823b7f8b26ed17d10444bf0a58568abbfc +size 4398240288 diff --git a/Q4_K_M.gguf b/Q4_K_M.gguf new file mode 100644 index 0000000..ef5c785 --- /dev/null +++ b/Q4_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:5a172a3be62b48b76d48e3516f6474a08da6e4f3e6d3a280f8337f48e31254d8 +size 4649923104 diff --git a/Q5_0.gguf b/Q5_0.gguf new file mode 100644 index 0000000..9c0fa40 --- /dev/null +++ b/Q5_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:1f0795345c0caaa70f279ae9128bc1d71371241015ff8c8e566ab5edf7134c7a +size 5278929440 diff --git a/Q5_K_M.gguf b/Q5_K_M.gguf new file mode 100644 index 0000000..af59931 --- /dev/null +++ b/Q5_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:02dd6c5a2202c1a96dabf0ec7b14929e19d0f7b0de1f41428bcd60017cdbed0d +size 5408584224 diff --git a/Q6_K.gguf b/Q6_K.gguf new file mode 100644 index 0000000..576efb3 --- /dev/null +++ b/Q6_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:1ea247047f540e8dca89ef91bba014f5facbd69c7f845827e4c054a2f702b3a9 +size 6214661664 diff --git a/Q8_0.gguf b/Q8_0.gguf new file mode 100644 index 0000000..6fe9140 --- /dev/null +++ b/Q8_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:fbe5b7f689bed824e3f240b9b45719adb363436f0a2f33e88287f48025ee3dab +size 8046988832 diff --git a/README.md b/README.md new file mode 100644 index 0000000..ae234a7 --- /dev/null +++ b/README.md @@ -0,0 +1,67 @@ +--- +datasets: +- IlyaGusev/saiga_scored +- IlyaGusev/saiga_preferences +- dichspace/darulm +language: +- ru +pipeline_tag: text-generation +license: apache-2.0 +base_model: +- Qwen/Qwen2.5-7B +- t-tech/T-lite-it-1.0 +--- + +## Описание модели + +GGUF версия! WORK IN PROGRESS!!! Текущая версия v1. + +Адаптация модели T-lite-it-1.0 на русский язык. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation). + +Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью T-lite-it-1.0. + +*Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях. + +## Попробовать + +Модель можно попробовать в поднятом Space (внизу в параметрах выбор модели): +https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5 + +## Токенизация + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png) + + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png) + +## Метрики и оценка качества + +Модель была оценена на Ru-Arena-General, MERA, llmtf_open + +#### Результаты на Ru-Arena-General + +Замеры были произведены с использованием оффициального кода лидерборда (https://github.com/VikhrModels/ru_llm_arena), **но с repetition_penalty=1.1**. + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/iwSdS1MYds3ws_zFmrbku.png) + +#### Результаты на Shlepa + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/NqtNA9DQlMkBGyyKlG9JG.png) + +#### Результаты на MERA + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/tE4K4hHpS31-xRx0J7cxR.png) + +#### Результаты на llmtf_open + +TODO + +## How to cite: + +Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145. + +Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163-168. + +## Предупреждение + +Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. При создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью. \ No newline at end of file