初始化项目，由ModelHub XC社区提供模型
Model: RefalMachine/RuadaptQwen3-4B-Hybrid-GGUF Source: Original Platform
This commit is contained in:
ModelHub XC
51
.gitattributes
vendored
Normal file
51
.gitattributes
vendored
Normal file
@@ -0,0 +1,51 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
Q2_K.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
IQ3_XS.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
Q3_K_S.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
IQ3_S.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
Q4_0.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
IQ4_NL.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
IQ4_XS.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
Q4_K_S.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
Q5_0.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
Q5_K_S.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
Q6_K.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
Q8_0.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
BF16.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
3
BF16.gguf
Normal file
3
BF16.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:c0e1302d44072d83da9c56205d202f9d86c72e9986768a67e28ab73b7090b13f
|
||||
size 8023372288
|
||||
3
IQ3_S.gguf
Normal file
3
IQ3_S.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:e8088742f7b80343506c60e40c0b42539c35811bb75aaa5f20036555f8592484
|
||||
size 1888759584
|
||||
3
IQ3_XS.gguf
Normal file
3
IQ3_XS.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:798f76ea3159c2bd6b0153ed6c72cc624a34864f557f6ce51114d619256fdf3b
|
||||
size 1803603744
|
||||
3
IQ4_NL.gguf
Normal file
3
IQ4_NL.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:0e841e2ef2b1a58766e257751bf6778936147d9f2071044642343fd127100cf0
|
||||
size 2383023904
|
||||
3
IQ4_XS.gguf
Normal file
3
IQ4_XS.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:2dd737e58df78ad1ecd83a1ec6b481cd010e804fbe4fba7934328654a8d8c88f
|
||||
size 2275544864
|
||||
3
Q2_K.gguf
Normal file
3
Q2_K.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:c845a96c6a58b2030d0474572b30d22d1900a5bae27c7cb145335c9c9eeae9c1
|
||||
size 1658728224
|
||||
3
Q3_K_M.gguf
Normal file
3
Q3_K_M.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:6ab1ea27821e64d5efe1dcce0d3a36b6f77cb827d3d61a370fd85753b5e31e5a
|
||||
size 2064846624
|
||||
3
Q3_K_S.gguf
Normal file
3
Q3_K_S.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:db2904191ded794634c7f633dd5a02f2807287b1a4e0a3cb4ff13288c53c7563
|
||||
size 1876225824
|
||||
3
Q4_0.gguf
Normal file
3
Q4_0.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:9514819f09e15ed4286030fe610d6d5234b489278c996d6826c6d2454b3537c9
|
||||
size 2358775584
|
||||
3
Q4_K_M.gguf
Normal file
3
Q4_K_M.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:e98b746c020b867bbd1786f53e496aa17a453548683f120f14c56451373de5db
|
||||
size 2486509344
|
||||
3
Q4_K_S.gguf
Normal file
3
Q4_K_S.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:a89d816ecab04ea4e252952e33eb77fa6b7d6c3cbbb9c90b3b8f71a6c2e54a85
|
||||
size 2372538144
|
||||
3
Q5_0.gguf
Normal file
3
Q5_0.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:ea2c00d051bfa4379ab1e75f2eaba58a7ee01fa3bcb9017da4dd02cda6399e70
|
||||
size 2812940064
|
||||
3
Q5_K_M.gguf
Normal file
3
Q5_K_M.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:9c33e72054fdeb27e6c72c3caffd1ef2764e9124c93e180846a98a55c3b1f5a8
|
||||
size 2878742304
|
||||
3
Q5_K_S.gguf
Normal file
3
Q5_K_S.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:f1407b2a771917ed09f0fdb8e903337604ad3f60fccaad46acdc8732f624b05f
|
||||
size 2812940064
|
||||
3
Q6_K.gguf
Normal file
3
Q6_K.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:cf1dc963b14cd89f593c53ff091bd66a0c3e12023b8d171bc722913505415cde
|
||||
size 3295489824
|
||||
3
Q8_0.gguf
Normal file
3
Q8_0.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:e4ddb7de7ab8b2afef32c8153e14c0f0b93d22232d221c8c6435283502ed8079
|
||||
size 4266114688
|
||||
99
README.md
Normal file
99
README.md
Normal file
@@ -0,0 +1,99 @@
|
||||
---
|
||||
license: apache-2.0
|
||||
datasets:
|
||||
- dichspace/darulm
|
||||
- HuggingFaceFW/fineweb-2
|
||||
- RefalMachine/ruadapt_hybrid_instruct
|
||||
- t-tech/T-Wix
|
||||
language:
|
||||
- ru
|
||||
- en
|
||||
base_model:
|
||||
- Qwen/Qwen3-4B
|
||||
---
|
||||
<p align="left">
|
||||
<a href="https://jle.hse.ru/article/view/22224"><b>Paper Link</b>👁️</a>
|
||||
<br>
|
||||
<a href="https://huggingface.co/RefalMachine/RuadaptQwen3-4B-Hybrid"><b>Hf ver</b>🚀</a>
|
||||
</p>
|
||||
<hr>
|
||||
|
||||
# RU
|
||||
## Описание модели
|
||||
|
||||
GGUF **Ruadapt** версия модели **Qwen/Qwen3-4B** c **гибридным ризонингом**. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника **LEP (Learned Embedding Propagation)**.
|
||||
|
||||
Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла **до 100%** (в зависимости от длины контекста) по сравнению с исходной моделью.
|
||||
|
||||
**Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.*
|
||||
|
||||
## Важно
|
||||
|
||||
**Веса модели могут обновляться** по мере получения новых версий. Информацию о версиях будет в самом конце README, там же фиксируются **даты** и **коммиты** версий, чтобы всегда можно было использовать предыдущие варианты при необходимости.
|
||||
|
||||
Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. При создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью.
|
||||
|
||||
## Гибридрый ризонер
|
||||
|
||||
Модель, как и ее исходная версия, является гибридным ризонером. По умолчанию модель работает с включенным режимом размышлений.
|
||||
Чтобы отключить режим рассуждений, добавьте в конец последнего сообщения токен /no_think.
|
||||
Чтобы обратно его включить, добавьте /think.
|
||||
|
||||
Альтернативный способ при работе с моделью напрямую:
|
||||
```python
|
||||
text = tokenizer.apply_chat_template(
|
||||
messages,
|
||||
tokenize=False,
|
||||
add_generation_prompt=True,
|
||||
enable_thinking=False # Setting enable_thinking=False disables thinking mode
|
||||
)
|
||||
```
|
||||
|
||||
## Рекомендуемые параметры генерации
|
||||
Для более стабильной работы рекомендуется использовать низкие температуры 0.0-0.3, top_p в диапазоне от 0.85 до 0.95 и repetition_penalty 1.05 (зависит от задач, но если уходит в циклы, то пробуйте поднять repetition_penalty. В случае же RAG, возможно наоборот снизить до 1.0).
|
||||
|
||||
## Метрики
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
*Рейтинг на считался на Vikhrmodels/arenahardlb с использованием DeepSeek-V3-0324 в качестве оценщика против модели gpt-4-1106-preview с включенным length-control.
|
||||
|
||||
|
||||
|
||||
# EN
|
||||
|
||||
## Model Description
|
||||
|
||||
**Ruadapt** version of **Qwen/Qwen3-4B**.
|
||||
In this model the tokenizer was replaced, followed by continued pre-training on a Russian-language corpus, after which the **LEP (Learned Embedding Propagation)** technique was applied.
|
||||
|
||||
Thanks to the new tokenizer (an extended tiktoken cl100k, augmented with a 48 k russian tokens), the generation speed* of Russian-language texts has increased **by up to 100 %** (depending on context length) compared with the original model.
|
||||
|
||||
*Generation speed is understood as the number of Russian characters/words produced per second on identical text sequences.*
|
||||
## Important
|
||||
|
||||
The model may be updated as new versions become available. Version information is provided at the very end of the README, where **dates** and **commits** are logged so that previous versions can always be used if necessary.
|
||||
|
||||
The model’s answers do not reflect the authors’ opinions; they merely reproduce the knowledge obtained from data at all training stages (pre-training, tokenizer replacement, instruction tuning, answer-quality calibration). The model is based on a third-party pretrained model, and **the current authors are not responsible for its initial pre-training**. No additional actions were taken to modify the “opinions” embedded in the LLM while creating this version. Use with caution.
|
||||
|
||||
<hr>
|
||||
|
||||
# Other
|
||||
|
||||
## Tokenization
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## Versions
|
||||
v1:
|
||||
- [c1c13d182fd71f8b5fd944c3046cde362e842bb1](https://huggingface.co/RefalMachine/RuadaptQwen3-4B-Hybrid-GGUF/commit/c1c13d182fd71f8b5fd944c3046cde362e842bb1)
|
||||
- Внутреннее имя/Alias: RuadaptQwen3-4B-Hybrid-v1/(deprecated name RuadaptQwen3-4B-Instruct-v2)
|
||||
- Дата/Date: 26.08.2025
|
||||
|
||||
## How to cite:
|
||||
|
||||
Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145.
|
||||
Reference in New Issue
Block a user