RefalMachine/RuadaptQwen3-8B-Hybrid-GGUF
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity

初始化项目，由ModelHub XC社区提供模型

Browse Source 
Model: RefalMachine/RuadaptQwen3-8B-Hybrid-GGUF
Source: Original Platform
This commit is contained in:
ModelHub XC
2026-08-16 03:31:17 +08:00
commit c7998792fd
18 changed files with 200 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files

51
.gitattributes vendored Normal file
View File

@@ -0,0 +1,51 @@
*.7z filter=lfs diff=lfs merge=lfs -text
*.arrow filter=lfs diff=lfs merge=lfs -text
*.bin filter=lfs diff=lfs merge=lfs -text
*.bz2 filter=lfs diff=lfs merge=lfs -text
*.ckpt filter=lfs diff=lfs merge=lfs -text
*.ftz filter=lfs diff=lfs merge=lfs -text
*.gz filter=lfs diff=lfs merge=lfs -text
*.h5 filter=lfs diff=lfs merge=lfs -text
*.joblib filter=lfs diff=lfs merge=lfs -text
*.lfs.* filter=lfs diff=lfs merge=lfs -text
*.mlmodel filter=lfs diff=lfs merge=lfs -text
*.model filter=lfs diff=lfs merge=lfs -text
*.msgpack filter=lfs diff=lfs merge=lfs -text
*.npy filter=lfs diff=lfs merge=lfs -text
*.npz filter=lfs diff=lfs merge=lfs -text
*.onnx filter=lfs diff=lfs merge=lfs -text
*.ot filter=lfs diff=lfs merge=lfs -text
*.parquet filter=lfs diff=lfs merge=lfs -text
*.pb filter=lfs diff=lfs merge=lfs -text
*.pickle filter=lfs diff=lfs merge=lfs -text
*.pkl filter=lfs diff=lfs merge=lfs -text
*.pt filter=lfs diff=lfs merge=lfs -text
*.pth filter=lfs diff=lfs merge=lfs -text
*.rar filter=lfs diff=lfs merge=lfs -text
*.safetensors filter=lfs diff=lfs merge=lfs -text
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
*.tar.* filter=lfs diff=lfs merge=lfs -text
*.tar filter=lfs diff=lfs merge=lfs -text
*.tflite filter=lfs diff=lfs merge=lfs -text
*.tgz filter=lfs diff=lfs merge=lfs -text
*.wasm filter=lfs diff=lfs merge=lfs -text
*.xz filter=lfs diff=lfs merge=lfs -text
*.zip filter=lfs diff=lfs merge=lfs -text
*.zst filter=lfs diff=lfs merge=lfs -text
*tfevents* filter=lfs diff=lfs merge=lfs -text
Q2_K.gguf filter=lfs diff=lfs merge=lfs -text
IQ3_XS.gguf filter=lfs diff=lfs merge=lfs -text
Q3_K_S.gguf filter=lfs diff=lfs merge=lfs -text
IQ3_S.gguf filter=lfs diff=lfs merge=lfs -text
Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text
IQ4_XS.gguf filter=lfs diff=lfs merge=lfs -text
Q4_0.gguf filter=lfs diff=lfs merge=lfs -text
Q4_K_S.gguf filter=lfs diff=lfs merge=lfs -text
Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text
IQ4_NL.gguf filter=lfs diff=lfs merge=lfs -text
Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text
Q5_K_S.gguf filter=lfs diff=lfs merge=lfs -text
Q5_0.gguf filter=lfs diff=lfs merge=lfs -text
Q6_K.gguf filter=lfs diff=lfs merge=lfs -text
Q8_0.gguf filter=lfs diff=lfs merge=lfs -text
BF16.gguf filter=lfs diff=lfs merge=lfs -text

3
BF16.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:44bc8f34578236ce881286e9418d5624d8e9ec868693c57f8e1a52908f7b490f
size 16296196704

3
IQ3_S.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:3154edcad4fa65f0f8285805bd3287f074f28d318b4fb4ae4de2fd3a5aaa2a1c
size 3761752672

3
IQ3_XS.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:633c9d14a62773f9646e2c950ab1a9375b6f114573bbc5c14f399e3ae4c18026
size 3598961248

3
IQ4_NL.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:5cf391eaf59b2f1585c5a8941a7c1a85fd6968d540d0f91f5b1b76ebc584473c
size 4787789024

3
IQ4_XS.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:a7c20125b552888bbffb328665aace153704bae0a6c3816580da6bccd85b4e1e
size 4563022560

3
Q2_K.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:d2d756cdef52733ea46d631a5014018a20d22159898c6d2a42f41761c1abc92d
size 3256181216

3
Q3_K_M.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:8e34bc28778e43ffe596ce3c4c7ed0299e05d7d28a370e23b347da61f9e9cc47
size 4096248416

3
Q3_K_S.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:a3d6ff26d7aec60f897ef0bc6d9e38f68d31d17a6a5981bb2e5df10165d97284
size 3741698656

3
Q4_0.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:e2f613ca00ed8992f200e5f4e03e2974edd5df8011e89a56d51789bc7c31f214
size 4743748832

3
Q4_K_M.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:874705b4535a242041adc0b8f5f2b8013a94e1d0ef04c62935824df5ebfecb72
size 4996783328

3
Q4_K_S.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:4ef32d224264d7e46980d4ce3c63c85a32f134e45518844c06647693ab51bf1b
size 4771011808

3
Q5_0.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:cc85421686e447116006cf2c22d51c23b39f92b4160abea46adfc60bb16fbcb2
size 5686854880

3
Q5_K_M.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:41a2656018a1d221c0618cc572fa40a94f429c9c3a9e8e12ac4345f207f19d5b
size 5817205984

3
Q5_K_S.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:7434ccf8f88f3abe4d3c4003f15f263bdd01c0722d497b8fc94a4d9df615f048
size 5686854880

3
Q6_K.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:c178a7b9ce3fa9bf46cd9b72d860e1fcbdc54f86dd498c36dd8abd79a77f6eaf
size 6688905056

3
Q8_0.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:3fe8523e792469038270bc2fb1a7c2e6f31ca6250ea8273efce53a8a0b42131e
size 8661262944

101
README.md Normal file
View File

@@ -0,0 +1,101 @@
---
license: apache-2.0
datasets:
- dichspace/darulm
- HuggingFaceFW/fineweb-2
- RefalMachine/ruadapt_hybrid_instruct
- t-tech/T-Wix
language:
- ru
- en
base_model:
- Qwen/Qwen3-8B
---
<p align="left">
<a href="https://jle.hse.ru/article/view/22224"><b>Paper Link</b>👁️</a>
<br>
<a href="https://huggingface.co/RefalMachine/RuadaptQwen3-8B-Hybrid"><b>Hf ver</b>🚀</a>
</p>
<hr>
# RU
## Описание модели
GGUF **Ruadapt** версия модели **Qwen/Qwen3-8B** c **гибридным ризонингом**. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника **LEP (Learned Embedding Propagation)**.
Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла **до 100%** (в зависимости от длины контекста) по сравнению с исходной моделью.
**Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.*
## Важно
**Веса модели могут обновляться** по мере получения новых версий. Информацию о версиях будет в самом конце README, там же фиксируются **даты** и **коммиты** версий, чтобы всегда можно было использовать предыдущие варианты при необходимости.
Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. При создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью.
## Гибридрый ризонер
Модель, как и ее исходная версия, является гибридным ризонером. По умолчанию модель работает с включенным режимом размышлений.
Чтобы отключить режим рассуждений, добавьте в конец последнего сообщения токен /no_think.
Чтобы обратно его включить, добавьте /think.
Альтернативный способ при работе с моделью напрямую:
```python
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
enable_thinking=False # Setting enable_thinking=False disables thinking mode
)
```
## Рекомендуемые параметры генерации
Для более стабильной работы рекомендуется использовать низкие температуры 0.0-0.3, top_p в диапазоне от 0.85 до 0.95 и repetition_penalty 1.05 (зависит от задач, но если уходит в циклы, то пробуйте поднять repetition_penalty. В случае же RAG, возможно наоборот снизить до 1.0).
## Метрики
![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/5_BM72GJ6YbrYmJSsqKdf.png)
*Рейтинг на считался на Vikhrmodels/arenahardlb с использованием DeepSeek-V3-0324 в качестве оценщика против модели gpt-4-1106-preview с включенным length-control.
![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/1yzLBS5DHNEKUh6EkiDuw.png)
# EN
## Model Description
**Ruadapt** version of **Qwen/Qwen3-4B**.
In this model the tokenizer was replaced, followed by continued pre-training on a Russian-language corpus, after which the **LEP (Learned Embedding Propagation)** technique was applied.
Thanks to the new tokenizer (an extended tiktoken cl100k, augmented with a 48 k russian tokens), the generation speed* of Russian-language texts has increased **by up to 100 %** (depending on context length) compared with the original model.
*Generation speed is understood as the number of Russian characters/words produced per second on identical text sequences.*
## Important
The model may be updated as new versions become available. Version information is provided at the very end of the README, where **dates** and **commits** are logged so that previous versions can always be used if necessary.
The model’s answers do not reflect the authors’ opinions; they merely reproduce the knowledge obtained from data at all training stages (pre-training, tokenizer replacement, instruction tuning, answer-quality calibration). The model is based on a third-party pretrained model, and **the current authors are not responsible for its initial pre-training**. No additional actions were taken to modify the “opinions” embedded in the LLM while creating this version. Use with caution.
<hr>
# Other
## Tokenization
![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png)
![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png)
## Versions
v1:
- [08b4bd15e73a2faa2cd67b5a1adb1c46d3c76c8e](https://huggingface.co/RefalMachine/RuadaptQwen3-8B-Hybrid-GGUF/commit/08b4bd15e73a2faa2cd67b5a1adb1c46d3c76c8e])
- Внутреннее имя/Alias: RuadaptQwen3-8B-Hybrid-v1
- Дата/Date: 26.08.2025
## How to cite:
Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145.