100 lines
6.8 KiB
Markdown
100 lines
6.8 KiB
Markdown
|
---
|
|||
|
|
license: apache-2.0
|
|||
|
|
datasets:
|
|||
|
|
- dichspace/darulm
|
|||
|
|
- HuggingFaceFW/fineweb-2
|
|||
|
|
- RefalMachine/hybrid_reasoning_dataset_ru
|
|||
|
|
language:
|
|||
|
|
- ru
|
|||
|
|
- en
|
|||
|
|
base_model:
|
|||
|
|
- Qwen/Qwen3-32B
|
|||
|
|
---
|
|||
|
|
<p align="left">
|
|||
|
|
<a href="https://jle.hse.ru/article/view/22224"><b>Paper Link</b>👁️</a>
|
|||
|
|
</p>
|
|||
|
|
|
|||
|
|
<hr>
|
|||
|
|
|
|||
|
|
# RU
|
|||
|
|
## Описание модели
|
|||
|
|
|
|||
|
|
**GGUF Ruadapt** версии модели **Qwen/Qwen3-32B**. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника **LEP (Learned Embedding Propagation)**.
|
|||
|
|
|
|||
|
|
Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла **до 100%** (в зависимости от длины контекста) по сравнению с исходной моделью.
|
|||
|
|
|
|||
|
|
**Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.*
|
|||
|
|
|
|||
|
|
## Важно
|
|||
|
|
|
|||
|
|
**Веса модели могут обновляться** по мере получения новых версий. Информацию о версиях будет в самом конце README, там же фиксируются **даты** и **коммиты** версий, чтобы всегда можно было использовать предыдущие варианты при необходимости.
|
|||
|
|
|
|||
|
|
Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. При создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью.
|
|||
|
|
|
|||
|
|
## Гибридрый ризонер
|
|||
|
|
|
|||
|
|
Модель, как и ее исходная версия, является гибридным ризонером. По умолчанию модель работает с включенным режимом размышлений.
|
|||
|
|
Чтобы отключить режим рассуждений, добавьте в конец последнего сообщения токен /no_think.
|
|||
|
|
Чтобы обратно его включить, добавьте /think.
|
|||
|
|
|
|||
|
|
Альтернативный способ при работе с моделью напрямую:
|
|||
|
|
```python
|
|||
|
|
text = tokenizer.apply_chat_template(
|
|||
|
|
messages,
|
|||
|
|
tokenize=False,
|
|||
|
|
add_generation_prompt=True,
|
|||
|
|
enable_thinking=False # Setting enable_thinking=False disables thinking mode
|
|||
|
|
)
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## Рекомендуемые параметры генерации
|
|||
|
|
Для более стабильной работы рекомендуется использовать низкие температуры 0.0-0.3, top_p в диапазоне от 0.85 до 0.95 и repetition_penalty 1.05 (зависит от задач, но если уходит в циклы, то пробуйте поднять repetition_penalty. В случае же RAG, возможно наоборот снизить до 1.0).
|
|||
|
|
|
|||
|
|
## Метрики
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
*Метрики на DOoM ведут себя несколько нестабильно и существенно зависят от параметров сэмплирования. Метрика на Rubabilong считалась для части датасета (по 200 примеров с каждого из 5 датасетов).
|
|||
|
|
|
|||
|
|
# EN
|
|||
|
|
|
|||
|
|
## Model Description
|
|||
|
|
|
|||
|
|
**Ruadapt** version of **Qwen/Qwen3-32B**.
|
|||
|
|
In this model the tokenizer was replaced, followed by continued pre-training on a Russian-language corpus, after which the **LEP (Learned Embedding Propagation)** technique was applied.
|
|||
|
|
|
|||
|
|
Thanks to the new tokenizer (an extended tiktoken cl100k, augmented with a 48 k russian tokens), the generation speed* of Russian-language texts has increased **by up to 100 %** (depending on context length) compared with the original model.
|
|||
|
|
|
|||
|
|
*Generation speed is understood as the number of Russian characters/words produced per second on identical text sequences.*
|
|||
|
|
## Important
|
|||
|
|
|
|||
|
|
The model may be updated as new versions become available. Version information is provided at the very end of the README, where **dates** and **commits** are logged so that previous versions can always be used if necessary.
|
|||
|
|
|
|||
|
|
The model’s answers do not reflect the authors’ opinions; they merely reproduce the knowledge obtained from data at all training stages (pre-training, tokenizer replacement, instruction tuning, answer-quality calibration). The model is based on a third-party pretrained model, and **the current authors are not responsible for its initial pre-training**. No additional actions were taken to modify the “opinions” embedded in the LLM while creating this version. Use with caution.
|
|||
|
|
|
|||
|
|
<hr>
|
|||
|
|
|
|||
|
|
# Other
|
|||
|
|
|
|||
|
|
## Tokenization
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
## Versions
|
|||
|
|
|
|||
|
|
v2:
|
|||
|
|
- [82ff278f4f11e8129bab1858688ef843a7fe0be1](https://huggingface.co/RefalMachine/RuadaptQwen3-32B-Instruct-GGUF/commit/82ff278f4f11e8129bab1858688ef843a7fe0be1)
|
|||
|
|
- Внутреннее имя/Alias: RuadaptQwen3-32B-Instruct-v2
|
|||
|
|
- Дата/Date: 23.06.2025
|
|||
|
|
|
|||
|
|
v1:
|
|||
|
|
- [cb111d3dbd4eccb51682a626a9da2f48bd812479](https://huggingface.co/RefalMachine/RuadaptQwen3-32B-Instruct-GGUF/commit/cb111d3dbd4eccb51682a626a9da2f48bd812479)
|
|||
|
|
- Внутреннее имя/Alias: RuadaptQwen3-32B-Instruct-v1
|
|||
|
|
- Дата/Date: 21.05.2025
|
|||
|
|
|
|||
|
|
## How to cite:
|
|||
|
|
|
|||
|
|
Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145.
|