commit 0dea41a81c63fce8985b1605ba73b2e5c8da95b1 Author: ModelHub XC Date: Mon May 11 23:39:24 2026 +0800 初始化项目，由ModelHub XC社区提供模型 Model: RefalMachine/RuadaptQwen3-32B-Instruct-GGUF Source: Original Platform diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..bb72b8f --- /dev/null +++ b/.gitattributes @@ -0,0 +1,50 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +Q2_K.gguf filter=lfs diff=lfs merge=lfs -text +IQ3_XS.gguf filter=lfs diff=lfs merge=lfs -text +Q3_K_S.gguf filter=lfs diff=lfs merge=lfs -text +IQ3_S.gguf filter=lfs diff=lfs merge=lfs -text +Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text +IQ4_XS.gguf filter=lfs diff=lfs merge=lfs -text +Q4_0.gguf filter=lfs diff=lfs merge=lfs -text +Q4_K_S.gguf filter=lfs diff=lfs merge=lfs -text +Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q5_0.gguf filter=lfs diff=lfs merge=lfs -text +IQ4_NL.gguf filter=lfs diff=lfs merge=lfs -text +Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Q5_K_S.gguf filter=lfs diff=lfs merge=lfs -text +Q6_K.gguf filter=lfs diff=lfs merge=lfs -text +Q8_0.gguf filter=lfs diff=lfs merge=lfs -text diff --git a/IQ3_S.gguf b/IQ3_S.gguf new file mode 100644 index 0000000..79a41e6 --- /dev/null +++ b/IQ3_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:1aaa1e15bccb211edd094bee3bbe00ee1592ec31b9bb00db6b7818aa4555d21d +size 14399124928 diff --git a/IQ3_XS.gguf b/IQ3_XS.gguf new file mode 100644 index 0000000..194c087 --- /dev/null +++ b/IQ3_XS.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e858dc5cae142e0481d37393db6efbdf62a7e0e4e426ed78f86b652dd57381d3 +size 13667743168 diff --git a/IQ4_NL.gguf b/IQ4_NL.gguf new file mode 100644 index 0000000..f190b77 --- /dev/null +++ b/IQ4_NL.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:9be9b310c75f35f179ec39f97c6d2e3787b9177515ec1cd960c9e92f676eeeac +size 18771528928 diff --git a/IQ4_XS.gguf b/IQ4_XS.gguf new file mode 100644 index 0000000..481e803 --- /dev/null +++ b/IQ4_XS.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:66b39cfe676a4cda507eff443c2e99ca1bf3b57b1e349bff83dfb419ef63a8dc +size 17816205408 diff --git a/Q2_K.gguf b/Q2_K.gguf new file mode 100644 index 0000000..4a6315f --- /dev/null +++ b/Q2_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:3d1d14cb35395980ce7d928b60ee6c42b81dac919dad604554d4797dbb158c35 +size 12312425248 diff --git a/Q3_K_M.gguf b/Q3_K_M.gguf new file mode 100644 index 0000000..66a0ebc --- /dev/null +++ b/Q3_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:84e74f43e4d332b61a46c625ca1eab5069ac64e450d2c08fe51420e38de26271 +size 15936599488 diff --git a/Q3_K_S.gguf b/Q3_K_S.gguf new file mode 100644 index 0000000..12a9715 --- /dev/null +++ b/Q3_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:8eb033d8cc4ba36294604001fbf6c6d7f5e8fdffc90848343d7ea2218cfbd703 +size 14354560448 diff --git a/Q4_0.gguf b/Q4_0.gguf new file mode 100644 index 0000000..8b71505 --- /dev/null +++ b/Q4_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:418ee112d4197e6195a70f962097b48259890c0be8a181d4f7efd4cd0e8475fb +size 18598513888 diff --git a/Q4_K_M.gguf b/Q4_K_M.gguf new file mode 100644 index 0000000..ff5ca9d --- /dev/null +++ b/Q4_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6a7290b5b82e57d1ef79c6333a28f8803a51d17d927ab9a209f94241a8d7a950 +size 19723111648 diff --git a/Q4_K_S.gguf b/Q4_K_S.gguf new file mode 100644 index 0000000..3458e9d --- /dev/null +++ b/Q4_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:f43fb03beb5e0c5f5c2b6b3ef8738f64bb1848271fb9404b2847b148d58aeabd +size 18732207328 diff --git a/Q5_0.gguf b/Q5_0.gguf new file mode 100644 index 0000000..19e2c31 --- /dev/null +++ b/Q5_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:1e679bb2f6d23dc22416f385c4f85ca68b019d1a0d31e898ed3fc8182726d21c +size 22592823008 diff --git a/Q5_K_M.gguf b/Q5_K_M.gguf new file mode 100644 index 0000000..64f24a8 --- /dev/null +++ b/Q5_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:93c7790262b67938da186653bcec1332dd48e4cc53c68b94970cce25165a0064 +size 23172161248 diff --git a/Q5_K_S.gguf b/Q5_K_S.gguf new file mode 100644 index 0000000..c6bb9aa --- /dev/null +++ b/Q5_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:fe16723563e1beb5aaa9f443e530070e3ff4495e072198737b4831648bcccc03 +size 22592823008 diff --git a/Q6_K.gguf b/Q6_K.gguf new file mode 100644 index 0000000..5a3072b --- /dev/null +++ b/Q6_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:0f91f1733a2114acc99d7043f7fa3a70c6ee532121fc52e3992d11fdda301ade +size 26836776448 diff --git a/Q8_0.gguf b/Q8_0.gguf new file mode 100644 index 0000000..6d01306 --- /dev/null +++ b/Q8_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:31415c51e05df6ffa801dca5b4318fe8e376fd889ed4580c2a04999f6f6149e2 +size 34757112768 diff --git a/README.md b/README.md new file mode 100644 index 0000000..4081c97 --- /dev/null +++ b/README.md @@ -0,0 +1,99 @@ +--- +license: apache-2.0 +datasets: +- dichspace/darulm +- HuggingFaceFW/fineweb-2 +- RefalMachine/hybrid_reasoning_dataset_ru +language: +- ru +- en +base_model: +- Qwen/Qwen3-32B +--- +

+ Paper Link👁️ +

+ +
+ +# RU +## Описание модели + +**GGUF Ruadapt** версии модели **Qwen/Qwen3-32B**. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника **LEP (Learned Embedding Propagation)**. + +Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла **до 100%** (в зависимости от длины контекста) по сравнению с исходной моделью. + +**Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.* + +## Важно + +**Веса модели могут обновляться** по мере получения новых версий. Информацию о версиях будет в самом конце README, там же фиксируются **даты** и **коммиты** версий, чтобы всегда можно было использовать предыдущие варианты при необходимости. + +Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. При создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью. + +## Гибридрый ризонер + +Модель, как и ее исходная версия, является гибридным ризонером. По умолчанию модель работает с включенным режимом размышлений. +Чтобы отключить режим рассуждений, добавьте в конец последнего сообщения токен /no_think. +Чтобы обратно его включить, добавьте /think. + +Альтернативный способ при работе с моделью напрямую: +```python +text = tokenizer.apply_chat_template( + messages, + tokenize=False, + add_generation_prompt=True, + enable_thinking=False # Setting enable_thinking=False disables thinking mode +) +``` + +## Рекомендуемые параметры генерации +Для более стабильной работы рекомендуется использовать низкие температуры 0.0-0.3, top_p в диапазоне от 0.85 до 0.95 и repetition_penalty 1.05 (зависит от задач, но если уходит в циклы, то пробуйте поднять repetition_penalty. В случае же RAG, возможно наоборот снизить до 1.0). + +## Метрики + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/Iy6kD4v_O4BxgXuklXWSi.png) + +*Метрики на DOoM ведут себя несколько нестабильно и существенно зависят от параметров сэмплирования. Метрика на Rubabilong считалась для части датасета (по 200 примеров с каждого из 5 датасетов). + +# EN + +## Model Description + +**Ruadapt** version of **Qwen/Qwen3-32B**. +In this model the tokenizer was replaced, followed by continued pre-training on a Russian-language corpus, after which the **LEP (Learned Embedding Propagation)** technique was applied. + +Thanks to the new tokenizer (an extended tiktoken cl100k, augmented with a 48 k russian tokens), the generation speed* of Russian-language texts has increased **by up to 100 %** (depending on context length) compared with the original model. + +*Generation speed is understood as the number of Russian characters/words produced per second on identical text sequences.* +## Important + +The model may be updated as new versions become available. Version information is provided at the very end of the README, where **dates** and **commits** are logged so that previous versions can always be used if necessary. + +The model’s answers do not reflect the authors’ opinions; they merely reproduce the knowledge obtained from data at all training stages (pre-training, tokenizer replacement, instruction tuning, answer-quality calibration). The model is based on a third-party pretrained model, and **the current authors are not responsible for its initial pre-training**. No additional actions were taken to modify the “opinions” embedded in the LLM while creating this version. Use with caution. + +
+ +# Other + +## Tokenization + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png) + +![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png) + +## Versions + +v2: +- [82ff278f4f11e8129bab1858688ef843a7fe0be1](https://huggingface.co/RefalMachine/RuadaptQwen3-32B-Instruct-GGUF/commit/82ff278f4f11e8129bab1858688ef843a7fe0be1) +- Внутреннее имя/Alias: RuadaptQwen3-32B-Instruct-v2 +- Дата/Date: 23.06.2025 + +v1: +- [cb111d3dbd4eccb51682a626a9da2f48bd812479](https://huggingface.co/RefalMachine/RuadaptQwen3-32B-Instruct-GGUF/commit/cb111d3dbd4eccb51682a626a9da2f48bd812479) +- Внутреннее имя/Alias: RuadaptQwen3-32B-Instruct-v1 +- Дата/Date: 21.05.2025 + +## How to cite: + +Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145.