55 lines
2.4 KiB
Markdown
55 lines
2.4 KiB
Markdown
|
---
|
|||
|
|
language:
|
|||
|
|
- eng
|
|||
|
|
- ru
|
|||
|
|
tags:
|
|||
|
|
- text-generation
|
|||
|
|
- pytorch
|
|||
|
|
- safetensors
|
|||
|
|
- quark
|
|||
|
|
license: mit
|
|||
|
|
datasets:
|
|||
|
|
- wikipedia
|
|||
|
|
- fineweb
|
|||
|
|
metrics:
|
|||
|
|
- loss
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
<p align="center">
|
|||
|
|
<img src="https://huggingface.co/lumasik/quark-1-248m-base/resolve/main/banner.png" width="100%">
|
|||
|
|
</p>
|
|||
|
|
|
|||
|
|
# ⚛️ Quark-1-248M-Base
|
|||
|
|
|
|||
|
|
Это языковая модель на **248 миллионов параметров**. Модель построена на архитектуре Llama и обучена с нуля на русскоязычном и англоязычном датасете.
|
|||
|
|
|
|||
|
|
**Quark** — это эксперимент по созданию эффективных и быстрых моделей, которые можно обучать в домашних условиях на "народном" железе.
|
|||
|
|
|
|||
|
|
## 📊 Характеристики
|
|||
|
|
* **Размер:** 248M параметров.
|
|||
|
|
* **Архитектура:** Llama-based.
|
|||
|
|
* **Контекстное окно:** 1024 токена.
|
|||
|
|
* **Токенизатор:** Кастомный BPE на 32,000 токенов.
|
|||
|
|
* **Железо:** Обучалась на одной **NVIDIA RTX 3060 (12GB)**.
|
|||
|
|
* **Режим:** BF16 (fused AdamW).
|
|||
|
|
* **Метрики:** средний loss 3.2
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 🧠 Что она умеет?
|
|||
|
|
* **Грамматика:** Модель на удивление чисто пишет по-русски, соблюдает пунктуацию и не валит падежи.
|
|||
|
|
* **Логика:** Уверенно строит сложные предложения, но иногда может уйти в философский цикл.
|
|||
|
|
* **Факты:** Знает базу, но может уверенно врать (галлюцинировать) или нести чушь, если вопрос слишком специфический. Помните: это база (base), а не финальный ассистент.
|
|||
|
|
|
|||
|
|
## 🛠 Как запустить
|
|||
|
|
```python
|
|||
|
|
from transformers import AutoModelForCausalLM, AutoTokenizer
|
|||
|
|
|
|||
|
|
model_name = "lumasik/quark-1-248m-base"
|
|||
|
|
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
|||
|
|
model = AutoModelForCausalLM.from_pretrained(model_name)
|
|||
|
|
|
|||
|
|
prompt = "В глубоком космосе висел заброшенный корабль,"
|
|||
|
|
inputs = tokenizer(prompt, return_tensors="pt")
|
|||
|
|
outputs = model.generate(**inputs, max_length=100)
|
|||
|
|
print(tokenizer.decode(outputs[0]))
|