commit 06582b2c0edaa6f62113a32829d0421680ff977a Author: ModelHub XC Date: Sat May 16 09:39:15 2026 +0800 初始化项目，由ModelHub XC社区提供模型 Model: RefalMachine/RuadaptQwen2.5-32B-Pro-Beta-GGUF Source: Original Platform diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..2ec5b21 --- /dev/null +++ b/.gitattributes @@ -0,0 +1,43 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +Q2_K.gguf filter=lfs diff=lfs merge=lfs -text +Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q4_0.gguf filter=lfs diff=lfs merge=lfs -text +Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q5_0.gguf filter=lfs diff=lfs merge=lfs -text +Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q6_K.gguf filter=lfs diff=lfs merge=lfs -text +Q8_0.gguf filter=lfs diff=lfs merge=lfs -text diff --git a/Q2_K.gguf b/Q2_K.gguf new file mode 100644 index 0000000..d6751c9 --- /dev/null +++ b/Q2_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b83e9506534c3c51570a2b8c5a0367e44d9872acf390bcf679633127ed544d14 +size 12285680000 diff --git a/Q3_K_M.gguf b/Q3_K_M.gguf new file mode 100644 index 0000000..fcf1810 --- /dev/null +++ b/Q3_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:0a4f2af66becc1e4ab39a082ecc1d9e1ceae00322d2df0e7259ce3131a283e16 +size 15905100160 diff --git a/Q4_0.gguf b/Q4_0.gguf new file mode 100644 index 0000000..574824d --- /dev/null +++ b/Q4_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:7f7956d7926c6eb381b0669371dd9f898793a9a0414a539565fa4730af2ddef0 +size 18606975360 diff --git a/Q4_K_M.gguf b/Q4_K_M.gguf new file mode 100644 index 0000000..3bb02a1 --- /dev/null +++ b/Q4_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:a8c192d4e65b2c4cba40a09ed500fce9cd2e17b869a910492303e05200cbf495 +size 19818080640 diff --git a/Q5_0.gguf b/Q5_0.gguf new file mode 100644 index 0000000..7438b72 --- /dev/null +++ b/Q5_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:0e1ec7e790e6c71db0e454801918d9fcce238c729643d2440e97058a5fe2c7ae +size 22601886080 diff --git a/Q5_K_M.gguf b/Q5_K_M.gguf new file mode 100644 index 0000000..c859f62 --- /dev/null +++ b/Q5_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:cae2ef781fb3f8b0f411225803b736c51073579c6e81941fc0026a84404f23f9 +size 23225788800 diff --git a/Q6_K.gguf b/Q6_K.gguf new file mode 100644 index 0000000..5c0f775 --- /dev/null +++ b/Q6_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:42eb1df1eb94bb5347f5dfd4f77bc052d9fe4e3f029a72aa0160deb4ef5e0710 +size 26846478720 diff --git a/Q8_0.gguf b/Q8_0.gguf new file mode 100644 index 0000000..eb5bc91 --- /dev/null +++ b/Q8_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:1c4ce1447f0b44da0e7f088b9b62716db97938674805158be446fdfc4bdf5e5d +size 34769146240 diff --git a/README.md b/README.md new file mode 100644 index 0000000..285c49c --- /dev/null +++ b/README.md @@ -0,0 +1,63 @@ +--- +datasets: +- IlyaGusev/saiga_scored +- IlyaGusev/saiga_preferences +- dichspace/darulm +language: +- ru +pipeline_tag: text-generation +license: apache-2.0 +base_model: +- Qwen/Qwen2.5-32B +- t-tech/T-pro-it-1.0 +--- + +## Описание модели + +WORK IN PROGRESS!!! Текущая версия v1. + +GGUF версия. Адаптация модели T-pro-it-1.0 на русский язык. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation). + +Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью T-pro-it-1.0. + +*Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях. + +## Попробовать + +Модель можно попробовать в поднятом Space (внизу в параметрах выбор модели): +https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5 + +## Токенизация + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png) + + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png) + +## Метрики и оценка качества + +Модель была оценена на Ru-Arena-General, MERA, llmtf_open + +#### Результаты на Ru-Arena-General + +Замеры были произведены с использованием оффициального кода лидерборда (https://github.com/VikhrModels/ru_llm_arena), **но с repetition_penalty=1.1**. + +TODO + +#### Результаты на MERA + +TODO + +#### Результаты на llmtf_open + +TODO + +## How to cite: + +Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145. + +Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163-168. + +## Предупреждение + +Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. При создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью. \ No newline at end of file