commit c7998792fd02787badad5c6440bb2423ae7dfb79 Author: ModelHub XC Date: Sun Aug 16 03:31:17 2026 +0800 初始化项目，由ModelHub XC社区提供模型 Model: RefalMachine/RuadaptQwen3-8B-Hybrid-GGUF Source: Original Platform diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..38b9270 --- /dev/null +++ b/.gitattributes @@ -0,0 +1,51 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +Q2_K.gguf filter=lfs diff=lfs merge=lfs -text +IQ3_XS.gguf filter=lfs diff=lfs merge=lfs -text +Q3_K_S.gguf filter=lfs diff=lfs merge=lfs -text +IQ3_S.gguf filter=lfs diff=lfs merge=lfs -text +Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text +IQ4_XS.gguf filter=lfs diff=lfs merge=lfs -text +Q4_0.gguf filter=lfs diff=lfs merge=lfs -text +Q4_K_S.gguf filter=lfs diff=lfs merge=lfs -text +Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text +IQ4_NL.gguf filter=lfs diff=lfs merge=lfs -text +Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q5_K_S.gguf filter=lfs diff=lfs merge=lfs -text +Q5_0.gguf filter=lfs diff=lfs merge=lfs -text +Q6_K.gguf filter=lfs diff=lfs merge=lfs -text +Q8_0.gguf filter=lfs diff=lfs merge=lfs -text +BF16.gguf filter=lfs diff=lfs merge=lfs -text diff --git a/BF16.gguf b/BF16.gguf new file mode 100644 index 0000000..f13f4af --- /dev/null +++ b/BF16.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:44bc8f34578236ce881286e9418d5624d8e9ec868693c57f8e1a52908f7b490f +size 16296196704 diff --git a/IQ3_S.gguf b/IQ3_S.gguf new file mode 100644 index 0000000..720f353 --- /dev/null +++ b/IQ3_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:3154edcad4fa65f0f8285805bd3287f074f28d318b4fb4ae4de2fd3a5aaa2a1c +size 3761752672 diff --git a/IQ3_XS.gguf b/IQ3_XS.gguf new file mode 100644 index 0000000..d440dd9 --- /dev/null +++ b/IQ3_XS.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:633c9d14a62773f9646e2c950ab1a9375b6f114573bbc5c14f399e3ae4c18026 +size 3598961248 diff --git a/IQ4_NL.gguf b/IQ4_NL.gguf new file mode 100644 index 0000000..26b7653 --- /dev/null +++ b/IQ4_NL.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:5cf391eaf59b2f1585c5a8941a7c1a85fd6968d540d0f91f5b1b76ebc584473c +size 4787789024 diff --git a/IQ4_XS.gguf b/IQ4_XS.gguf new file mode 100644 index 0000000..328fe9d --- /dev/null +++ b/IQ4_XS.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:a7c20125b552888bbffb328665aace153704bae0a6c3816580da6bccd85b4e1e +size 4563022560 diff --git a/Q2_K.gguf b/Q2_K.gguf new file mode 100644 index 0000000..69063a5 --- /dev/null +++ b/Q2_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d2d756cdef52733ea46d631a5014018a20d22159898c6d2a42f41761c1abc92d +size 3256181216 diff --git a/Q3_K_M.gguf b/Q3_K_M.gguf new file mode 100644 index 0000000..f507c86 --- /dev/null +++ b/Q3_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:8e34bc28778e43ffe596ce3c4c7ed0299e05d7d28a370e23b347da61f9e9cc47 +size 4096248416 diff --git a/Q3_K_S.gguf b/Q3_K_S.gguf new file mode 100644 index 0000000..4e668a0 --- /dev/null +++ b/Q3_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:a3d6ff26d7aec60f897ef0bc6d9e38f68d31d17a6a5981bb2e5df10165d97284 +size 3741698656 diff --git a/Q4_0.gguf b/Q4_0.gguf new file mode 100644 index 0000000..4dc4bcd --- /dev/null +++ b/Q4_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e2f613ca00ed8992f200e5f4e03e2974edd5df8011e89a56d51789bc7c31f214 +size 4743748832 diff --git a/Q4_K_M.gguf b/Q4_K_M.gguf new file mode 100644 index 0000000..b285cc2 --- /dev/null +++ b/Q4_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:874705b4535a242041adc0b8f5f2b8013a94e1d0ef04c62935824df5ebfecb72 +size 4996783328 diff --git a/Q4_K_S.gguf b/Q4_K_S.gguf new file mode 100644 index 0000000..8fb8b37 --- /dev/null +++ b/Q4_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:4ef32d224264d7e46980d4ce3c63c85a32f134e45518844c06647693ab51bf1b +size 4771011808 diff --git a/Q5_0.gguf b/Q5_0.gguf new file mode 100644 index 0000000..4f89445 --- /dev/null +++ b/Q5_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:cc85421686e447116006cf2c22d51c23b39f92b4160abea46adfc60bb16fbcb2 +size 5686854880 diff --git a/Q5_K_M.gguf b/Q5_K_M.gguf new file mode 100644 index 0000000..8047ef6 --- /dev/null +++ b/Q5_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:41a2656018a1d221c0618cc572fa40a94f429c9c3a9e8e12ac4345f207f19d5b +size 5817205984 diff --git a/Q5_K_S.gguf b/Q5_K_S.gguf new file mode 100644 index 0000000..9722a41 --- /dev/null +++ b/Q5_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:7434ccf8f88f3abe4d3c4003f15f263bdd01c0722d497b8fc94a4d9df615f048 +size 5686854880 diff --git a/Q6_K.gguf b/Q6_K.gguf new file mode 100644 index 0000000..75909c4 --- /dev/null +++ b/Q6_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:c178a7b9ce3fa9bf46cd9b72d860e1fcbdc54f86dd498c36dd8abd79a77f6eaf +size 6688905056 diff --git a/Q8_0.gguf b/Q8_0.gguf new file mode 100644 index 0000000..c361776 --- /dev/null +++ b/Q8_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:3fe8523e792469038270bc2fb1a7c2e6f31ca6250ea8273efce53a8a0b42131e +size 8661262944 diff --git a/README.md b/README.md new file mode 100644 index 0000000..89cea2f --- /dev/null +++ b/README.md @@ -0,0 +1,101 @@ +--- +license: apache-2.0 +datasets: +- dichspace/darulm +- HuggingFaceFW/fineweb-2 +- RefalMachine/ruadapt_hybrid_instruct +- t-tech/T-Wix +language: +- ru +- en +base_model: +- Qwen/Qwen3-8B +--- +

+ Paper Link👁️ +
+ Hf ver🚀 +

+
+ +# RU +## Описание модели + +GGUF **Ruadapt** версия модели **Qwen/Qwen3-8B** c **гибридным ризонингом**. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника **LEP (Learned Embedding Propagation)**. + +Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла **до 100%** (в зависимости от длины контекста) по сравнению с исходной моделью. + +**Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.* + +## Важно + +**Веса модели могут обновляться** по мере получения новых версий. Информацию о версиях будет в самом конце README, там же фиксируются **даты** и **коммиты** версий, чтобы всегда можно было использовать предыдущие варианты при необходимости. + +Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. При создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью. + +## Гибридрый ризонер + +Модель, как и ее исходная версия, является гибридным ризонером. По умолчанию модель работает с включенным режимом размышлений. +Чтобы отключить режим рассуждений, добавьте в конец последнего сообщения токен /no_think. +Чтобы обратно его включить, добавьте /think. + +Альтернативный способ при работе с моделью напрямую: +```python +text = tokenizer.apply_chat_template( + messages, + tokenize=False, + add_generation_prompt=True, + enable_thinking=False # Setting enable_thinking=False disables thinking mode +) +``` + +## Рекомендуемые параметры генерации +Для более стабильной работы рекомендуется использовать низкие температуры 0.0-0.3, top_p в диапазоне от 0.85 до 0.95 и repetition_penalty 1.05 (зависит от задач, но если уходит в циклы, то пробуйте поднять repetition_penalty. В случае же RAG, возможно наоборот снизить до 1.0). + +## Метрики + + + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/5_BM72GJ6YbrYmJSsqKdf.png) + +*Рейтинг на считался на Vikhrmodels/arenahardlb с использованием DeepSeek-V3-0324 в качестве оценщика против модели gpt-4-1106-preview с включенным length-control. + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/1yzLBS5DHNEKUh6EkiDuw.png) + +# EN + +## Model Description + +**Ruadapt** version of **Qwen/Qwen3-4B**. +In this model the tokenizer was replaced, followed by continued pre-training on a Russian-language corpus, after which the **LEP (Learned Embedding Propagation)** technique was applied. + +Thanks to the new tokenizer (an extended tiktoken cl100k, augmented with a 48 k russian tokens), the generation speed* of Russian-language texts has increased **by up to 100 %** (depending on context length) compared with the original model. + +*Generation speed is understood as the number of Russian characters/words produced per second on identical text sequences.* +## Important + +The model may be updated as new versions become available. Version information is provided at the very end of the README, where **dates** and **commits** are logged so that previous versions can always be used if necessary. + +The model’s answers do not reflect the authors’ opinions; they merely reproduce the knowledge obtained from data at all training stages (pre-training, tokenizer replacement, instruction tuning, answer-quality calibration). The model is based on a third-party pretrained model, and **the current authors are not responsible for its initial pre-training**. No additional actions were taken to modify the “opinions” embedded in the LLM while creating this version. Use with caution. + +
+ +# Other + +## Tokenization + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png) + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png) + +## Versions + +v1: +- [08b4bd15e73a2faa2cd67b5a1adb1c46d3c76c8e](https://huggingface.co/RefalMachine/RuadaptQwen3-8B-Hybrid-GGUF/commit/08b4bd15e73a2faa2cd67b5a1adb1c46d3c76c8e]) +- Внутреннее имя/Alias: RuadaptQwen3-8B-Hybrid-v1 +- Дата/Date: 26.08.2025 + + +## How to cite: + +Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145.