commit e3dc50475e5c8a03b5ed6c886c18891d5aa3ed97 Author: ModelHub XC Date: Sat Aug 15 06:47:16 2026 +0800 初始化项目，由ModelHub XC社区提供模型 Model: RefalMachine/RuadaptQwen3-4B-Hybrid-GGUF Source: Original Platform diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..38e51df --- /dev/null +++ b/.gitattributes @@ -0,0 +1,51 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +Q2_K.gguf filter=lfs diff=lfs merge=lfs -text +IQ3_XS.gguf filter=lfs diff=lfs merge=lfs -text +Q3_K_S.gguf filter=lfs diff=lfs merge=lfs -text +IQ3_S.gguf filter=lfs diff=lfs merge=lfs -text +Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q4_0.gguf filter=lfs diff=lfs merge=lfs -text +IQ4_NL.gguf filter=lfs diff=lfs merge=lfs -text +IQ4_XS.gguf filter=lfs diff=lfs merge=lfs -text +Q4_K_S.gguf filter=lfs diff=lfs merge=lfs -text +Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q5_0.gguf filter=lfs diff=lfs merge=lfs -text +Q5_K_S.gguf filter=lfs diff=lfs merge=lfs -text +Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q6_K.gguf filter=lfs diff=lfs merge=lfs -text +Q8_0.gguf filter=lfs diff=lfs merge=lfs -text +BF16.gguf filter=lfs diff=lfs merge=lfs -text diff --git a/BF16.gguf b/BF16.gguf new file mode 100644 index 0000000..0fd45f7 --- /dev/null +++ b/BF16.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:c0e1302d44072d83da9c56205d202f9d86c72e9986768a67e28ab73b7090b13f +size 8023372288 diff --git a/IQ3_S.gguf b/IQ3_S.gguf new file mode 100644 index 0000000..fc3ce60 --- /dev/null +++ b/IQ3_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e8088742f7b80343506c60e40c0b42539c35811bb75aaa5f20036555f8592484 +size 1888759584 diff --git a/IQ3_XS.gguf b/IQ3_XS.gguf new file mode 100644 index 0000000..0093639 --- /dev/null +++ b/IQ3_XS.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:798f76ea3159c2bd6b0153ed6c72cc624a34864f557f6ce51114d619256fdf3b +size 1803603744 diff --git a/IQ4_NL.gguf b/IQ4_NL.gguf new file mode 100644 index 0000000..52936a5 --- /dev/null +++ b/IQ4_NL.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:0e841e2ef2b1a58766e257751bf6778936147d9f2071044642343fd127100cf0 +size 2383023904 diff --git a/IQ4_XS.gguf b/IQ4_XS.gguf new file mode 100644 index 0000000..88105a0 --- /dev/null +++ b/IQ4_XS.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:2dd737e58df78ad1ecd83a1ec6b481cd010e804fbe4fba7934328654a8d8c88f +size 2275544864 diff --git a/Q2_K.gguf b/Q2_K.gguf new file mode 100644 index 0000000..fd0a997 --- /dev/null +++ b/Q2_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:c845a96c6a58b2030d0474572b30d22d1900a5bae27c7cb145335c9c9eeae9c1 +size 1658728224 diff --git a/Q3_K_M.gguf b/Q3_K_M.gguf new file mode 100644 index 0000000..199ef72 --- /dev/null +++ b/Q3_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6ab1ea27821e64d5efe1dcce0d3a36b6f77cb827d3d61a370fd85753b5e31e5a +size 2064846624 diff --git a/Q3_K_S.gguf b/Q3_K_S.gguf new file mode 100644 index 0000000..41efd5d --- /dev/null +++ b/Q3_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:db2904191ded794634c7f633dd5a02f2807287b1a4e0a3cb4ff13288c53c7563 +size 1876225824 diff --git a/Q4_0.gguf b/Q4_0.gguf new file mode 100644 index 0000000..f64f7ae --- /dev/null +++ b/Q4_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:9514819f09e15ed4286030fe610d6d5234b489278c996d6826c6d2454b3537c9 +size 2358775584 diff --git a/Q4_K_M.gguf b/Q4_K_M.gguf new file mode 100644 index 0000000..32f63ba --- /dev/null +++ b/Q4_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e98b746c020b867bbd1786f53e496aa17a453548683f120f14c56451373de5db +size 2486509344 diff --git a/Q4_K_S.gguf b/Q4_K_S.gguf new file mode 100644 index 0000000..c2d4233 --- /dev/null +++ b/Q4_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:a89d816ecab04ea4e252952e33eb77fa6b7d6c3cbbb9c90b3b8f71a6c2e54a85 +size 2372538144 diff --git a/Q5_0.gguf b/Q5_0.gguf new file mode 100644 index 0000000..8a54ffb --- /dev/null +++ b/Q5_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:ea2c00d051bfa4379ab1e75f2eaba58a7ee01fa3bcb9017da4dd02cda6399e70 +size 2812940064 diff --git a/Q5_K_M.gguf b/Q5_K_M.gguf new file mode 100644 index 0000000..9794030 --- /dev/null +++ b/Q5_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:9c33e72054fdeb27e6c72c3caffd1ef2764e9124c93e180846a98a55c3b1f5a8 +size 2878742304 diff --git a/Q5_K_S.gguf b/Q5_K_S.gguf new file mode 100644 index 0000000..8edb099 --- /dev/null +++ b/Q5_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:f1407b2a771917ed09f0fdb8e903337604ad3f60fccaad46acdc8732f624b05f +size 2812940064 diff --git a/Q6_K.gguf b/Q6_K.gguf new file mode 100644 index 0000000..e4cb6f5 --- /dev/null +++ b/Q6_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:cf1dc963b14cd89f593c53ff091bd66a0c3e12023b8d171bc722913505415cde +size 3295489824 diff --git a/Q8_0.gguf b/Q8_0.gguf new file mode 100644 index 0000000..4576102 --- /dev/null +++ b/Q8_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e4ddb7de7ab8b2afef32c8153e14c0f0b93d22232d221c8c6435283502ed8079 +size 4266114688 diff --git a/README.md b/README.md new file mode 100644 index 0000000..ddb3610 --- /dev/null +++ b/README.md @@ -0,0 +1,99 @@ +--- +license: apache-2.0 +datasets: +- dichspace/darulm +- HuggingFaceFW/fineweb-2 +- RefalMachine/ruadapt_hybrid_instruct +- t-tech/T-Wix +language: +- ru +- en +base_model: +- Qwen/Qwen3-4B +--- +

+ Paper Link👁️ +
+ Hf ver🚀 +

+
+ +# RU +## Описание модели + +GGUF **Ruadapt** версия модели **Qwen/Qwen3-4B** c **гибридным ризонингом**. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника **LEP (Learned Embedding Propagation)**. + +Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла **до 100%** (в зависимости от длины контекста) по сравнению с исходной моделью. + +**Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.* + +## Важно + +**Веса модели могут обновляться** по мере получения новых версий. Информацию о версиях будет в самом конце README, там же фиксируются **даты** и **коммиты** версий, чтобы всегда можно было использовать предыдущие варианты при необходимости. + +Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. При создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью. + +## Гибридрый ризонер + +Модель, как и ее исходная версия, является гибридным ризонером. По умолчанию модель работает с включенным режимом размышлений. +Чтобы отключить режим рассуждений, добавьте в конец последнего сообщения токен /no_think. +Чтобы обратно его включить, добавьте /think. + +Альтернативный способ при работе с моделью напрямую: +```python +text = tokenizer.apply_chat_template( + messages, + tokenize=False, + add_generation_prompt=True, + enable_thinking=False # Setting enable_thinking=False disables thinking mode +) +``` + +## Рекомендуемые параметры генерации +Для более стабильной работы рекомендуется использовать низкие температуры 0.0-0.3, top_p в диапазоне от 0.85 до 0.95 и repetition_penalty 1.05 (зависит от задач, но если уходит в циклы, то пробуйте поднять repetition_penalty. В случае же RAG, возможно наоборот снизить до 1.0). + +## Метрики + + + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/5_BM72GJ6YbrYmJSsqKdf.png) + +*Рейтинг на считался на Vikhrmodels/arenahardlb с использованием DeepSeek-V3-0324 в качестве оценщика против модели gpt-4-1106-preview с включенным length-control. + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/1yzLBS5DHNEKUh6EkiDuw.png) + +# EN + +## Model Description + +**Ruadapt** version of **Qwen/Qwen3-4B**. +In this model the tokenizer was replaced, followed by continued pre-training on a Russian-language corpus, after which the **LEP (Learned Embedding Propagation)** technique was applied. + +Thanks to the new tokenizer (an extended tiktoken cl100k, augmented with a 48 k russian tokens), the generation speed* of Russian-language texts has increased **by up to 100 %** (depending on context length) compared with the original model. + +*Generation speed is understood as the number of Russian characters/words produced per second on identical text sequences.* +## Important + +The model may be updated as new versions become available. Version information is provided at the very end of the README, where **dates** and **commits** are logged so that previous versions can always be used if necessary. + +The model’s answers do not reflect the authors’ opinions; they merely reproduce the knowledge obtained from data at all training stages (pre-training, tokenizer replacement, instruction tuning, answer-quality calibration). The model is based on a third-party pretrained model, and **the current authors are not responsible for its initial pre-training**. No additional actions were taken to modify the “opinions” embedded in the LLM while creating this version. Use with caution. + +
+ +# Other + +## Tokenization + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png) + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png) + +## Versions +v1: +- [c1c13d182fd71f8b5fd944c3046cde362e842bb1](https://huggingface.co/RefalMachine/RuadaptQwen3-4B-Hybrid-GGUF/commit/c1c13d182fd71f8b5fd944c3046cde362e842bb1) +- Внутреннее имя/Alias: RuadaptQwen3-4B-Hybrid-v1/(deprecated name RuadaptQwen3-4B-Instruct-v2) +- Дата/Date: 26.08.2025 + +## How to cite: + +Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145.