初始化项目，由ModelHub XC社区提供模型
Model: TsitkoD/Qwen3-14B-Vedun-v5-bf16 Source: Original Platform
This commit is contained in:
ModelHub XC
159
README.md
Normal file
159
README.md
Normal file
@@ -0,0 +1,159 @@
|
||||
---
|
||||
license: apache-2.0
|
||||
language:
|
||||
- ru
|
||||
base_model: Qwen/Qwen3-14B
|
||||
library_name: mlx
|
||||
pipeline_tag: text-generation
|
||||
tags:
|
||||
- mlx
|
||||
- qwen3
|
||||
- lora
|
||||
- russian
|
||||
- vedun
|
||||
- buktitsa
|
||||
- slavic
|
||||
- entertainment
|
||||
- creative-writing
|
||||
datasets:
|
||||
- TsitkoD/vedun-lora-data
|
||||
---
|
||||
|
||||
<p align="center">
|
||||
<img src="cover.jpg" alt="Vedun" width="480"/>
|
||||
</p>
|
||||
|
||||
# 🪶 Qwen3-14B-Vedun-v5 — *bf16 — без квантизации*
|
||||
|
||||
> *«А что если спросить старого ведуна, что такое “правда”? Он не ответит цитатой
|
||||
> из Даля — он разберёт слово на буквы, расскажет образ каждой, найдёт лор в
|
||||
> Велесовой Книге и свернёт это обратно в формулировку.»*
|
||||
|
||||
Это и делает **Vedun** — LoRA-дообучение `Qwen/Qwen3-14B` на синтетическом
|
||||
датасете [`TsitkoD/vedun-lora-data`](https://huggingface.co/datasets/TsitkoD/vedun-lora-data). Модель
|
||||
отвечает на русскоязычные вопросы через структурный разбор по **Древнеславянской
|
||||
Буквице**:
|
||||
|
||||
```
|
||||
[Буквицы:] — что значит каждая буква (имя, числовое значение, образ)
|
||||
[Образ:] — как из значений букв собирается смысл слова
|
||||
[Лор:] — отсылки к Велесовой Книге и буквичной традиции
|
||||
[Формулировка:] — финальная свёртка
|
||||
```
|
||||
|
||||
На «житейских» вопросах (вроде *«как простить предательство?»*) модель сначала
|
||||
вытаскивает 2–4 ключевых слова и разбирает **каждое отдельно** через Буквицу,
|
||||
а потом склеивает ответ.
|
||||
|
||||
> ⚠️ **Дисклеймер.** Это развлекательный pet-project, а не пророчества, религия
|
||||
> или философия. Результаты модели — стилизованный текст в эстетике
|
||||
> «древнеславянской буквицы» по мотивам соответствующих источников. Относитесь
|
||||
> к этому с юмором, не используйте как руководство к действию, духовную практику
|
||||
> или жизненные правила.
|
||||
|
||||
|
||||
## ✨ Что получишь на выходе
|
||||
|
||||
**Q: Как простить предательство?**
|
||||
|
||||
> Простить предательство — это не забыть, а **восстановить гармонию между
|
||||
> Явью и Навью**. Буквица «простить» говорит нам: через осознание (Слово)
|
||||
> и утверждение (Твердо) мы возвращаемся к равновесию (Иже)…
|
||||
|
||||
**Q: В чём смысл жизни?**
|
||||
|
||||
> Смысл жизни — это не абстрактная философия, а **Вопрос, который ведёт нас
|
||||
> к Веди** через созерцание и гармонию. Жизнь — это «Наше» сотворённое на
|
||||
> Земле, где мы ищем основу (Оно) в потоке Рока…
|
||||
|
||||
**Q: Что такое «правда»?**
|
||||
|
||||
> По Буквице «правда» — П-Р-А-В-Д-А = Покои-Реци-Азъ-Веди-Добро-Азъ.
|
||||
> «Покой созерцания, изречённый Творцом, познанный Добром и утверждённый
|
||||
> Изначальным»…
|
||||
|
||||
(Это реальные ответы модели — не cherry-pick из тысячи попыток.)
|
||||
|
||||
## 🚀 Быстрый старт
|
||||
|
||||
### LM Studio (самый простой способ)
|
||||
|
||||
1. Скачай из HF в LM Studio: вставь `TsitkoD/Qwen3-14B-Vedun-v5-bf16`
|
||||
в строку поиска моделей.
|
||||
2. Загрузи. Спроси «Что такое правда?». Получи разбор по буквам.
|
||||
|
||||
### Python + MLX
|
||||
|
||||
```python
|
||||
from mlx_lm import load, generate
|
||||
|
||||
model, tokenizer = load("TsitkoD/Qwen3-14B-Vedun-v5-bf16")
|
||||
prompt = tokenizer.apply_chat_template(
|
||||
[{"role": "user", "content": "Что такое «правда»?"}],
|
||||
add_generation_prompt=True,
|
||||
tokenize=False,
|
||||
)
|
||||
print(generate(model, tokenizer, prompt=prompt, max_tokens=2000, verbose=False))
|
||||
```
|
||||
|
||||
## 📦 Какой вариант выбрать
|
||||
|
||||
| Вариант | Размер | RAM при загрузке | Когда брать |
|
||||
|---|---|---|---|
|
||||
| [**bf16**](https://huggingface.co/TsitkoD/Qwen3-14B-Vedun-v5-bf16) | ~28 GB | ~30 GB | Эталон. Самый точный буквичный разбор. |
|
||||
| [**q8**](https://huggingface.co/TsitkoD/Qwen3-14B-Vedun-v5-q8) | ~15 GB | ~16 GB | Почти не отличается от bf16, экономит память. **Рекомендуется.** |
|
||||
| [**q4**](https://huggingface.co/TsitkoD/Qwen3-14B-Vedun-v5-q4) | ~7.8 GB | ~9 GB | Запускается на 16 GB ноутбуке. Иногда теряет буквы. |
|
||||
|
||||
|
||||
Все три варианта обучены **одинаково** — отличие только в квантизации весов
|
||||
после обучения.
|
||||
|
||||
## 🛠 Как обучали
|
||||
|
||||
Цепочка из трёх стадий LoRA-дообучения на Mac Studio M4 Max 128 GB,
|
||||
фреймворк [`mlx_lm`](https://github.com/ml-explore/mlx-examples) +
|
||||
кастомный `train_lora_weighted.py`:
|
||||
|
||||
| Стадия | Итер | max_seq | Особенность |
|
||||
|---|---|---|---|
|
||||
| **v3_14b** (с нуля) | 1000 | 2048 | Базовое обучение на корпусе разборов |
|
||||
| **v4_14b** (resume v3) | 600 | 2048 | + `letter_weight=5.0` — CE-loss на токенах блока `[Буквицы:]` × 5 |
|
||||
| **v5_14b** (resume v4) | 1000 | 3072 | + multi-term датасет (житейские вопросы) |
|
||||
|
||||
Параметры LoRA: `rank=8, scale=20, dropout=0, num_layers=40`, AdamW, lr=3e-5,
|
||||
`batch=1 × grad_accum=4`, gradient checkpointing.
|
||||
|
||||
**Финальный val loss: 0.694** (против 0.784 у 4B-версии — на тех же данных).
|
||||
|
||||
## 📊 Eval
|
||||
|
||||
На небольшом контрольном наборе (`bf16`-вариант):
|
||||
|
||||
| Метрика | Результат |
|
||||
|---|---|
|
||||
| Совпадение букв в `[Буквицы:]` (7 коротких терминов) | **7/7** |
|
||||
| Полнота структуры разбора | **7/7** |
|
||||
| Multi-term структура (3 житейских вопроса) | **3/3** |
|
||||
| Среднее число sub-блоков на житейский вопрос | **3.0** |
|
||||
|
||||
## ⚠️ Ограничения и честные оговорки
|
||||
|
||||
- Это **стилизация** в эстетике буквицы, а не источник лингвистической истины.
|
||||
Модель уверенно выдаёт реконструированные значения букв, многие из которых
|
||||
не имеют академического подтверждения.
|
||||
- На вопросах вне славянско-буквичного домена модель всё равно будет пытаться
|
||||
разобрать слово через Буквицу — это by design, но иногда выглядит комично.
|
||||
- Квантизованные варианты (q4 особенно) могут терять/путать буквы в разборе.
|
||||
Если важна точность букв — бери bf16 или q8.
|
||||
- Модель умеет в `<think>…</think>` reasoning. Если хочешь только финальный
|
||||
ответ — отрежь содержимое тега в постпроцессинге.
|
||||
|
||||
## 🔗 Связанное
|
||||
|
||||
- 📚 Датасет: [`TsitkoD/vedun-lora-data`](https://huggingface.co/datasets/TsitkoD/vedun-lora-data)
|
||||
- 🧬 База: [`Qwen/Qwen3-14B`](https://huggingface.co/Qwen/Qwen3-14B)
|
||||
- 🌐 Рантайм: [`mlx_lm`](https://github.com/ml-explore/mlx-examples) (Apple Silicon)
|
||||
|
||||
## Лицензия
|
||||
|
||||
Apache 2.0 (как у `Qwen/Qwen3-14B`).
|
||||
Reference in New Issue
Block a user