55 lines
2.4 KiB
Markdown
55 lines
2.4 KiB
Markdown
---
|
||
language:
|
||
- eng
|
||
- ru
|
||
tags:
|
||
- text-generation
|
||
- pytorch
|
||
- safetensors
|
||
- quark
|
||
license: mit
|
||
datasets:
|
||
- wikipedia
|
||
- fineweb
|
||
metrics:
|
||
- loss
|
||
---
|
||
|
||
<p align="center">
|
||
<img src="https://huggingface.co/lumasik/quark-1-248m-base/resolve/main/banner.png" width="100%">
|
||
</p>
|
||
|
||
# ⚛️ Quark-1-248M-Base
|
||
|
||
Это языковая модель на **248 миллионов параметров**. Модель построена на архитектуре Llama и обучена с нуля на русскоязычном и англоязычном датасете.
|
||
|
||
**Quark** — это эксперимент по созданию эффективных и быстрых моделей, которые можно обучать в домашних условиях на "народном" железе.
|
||
|
||
## 📊 Характеристики
|
||
* **Размер:** 248M параметров.
|
||
* **Архитектура:** Llama-based.
|
||
* **Контекстное окно:** 1024 токена.
|
||
* **Токенизатор:** Кастомный BPE на 32,000 токенов.
|
||
* **Железо:** Обучалась на одной **NVIDIA RTX 3060 (12GB)**.
|
||
* **Режим:** BF16 (fused AdamW).
|
||
* **Метрики:** средний loss 3.2
|
||
|
||
---
|
||
|
||
## 🧠 Что она умеет?
|
||
* **Грамматика:** Модель на удивление чисто пишет по-русски, соблюдает пунктуацию и не валит падежи.
|
||
* **Логика:** Уверенно строит сложные предложения, но иногда может уйти в философский цикл.
|
||
* **Факты:** Знает базу, но может уверенно врать (галлюцинировать) или нести чушь, если вопрос слишком специфический. Помните: это база (base), а не финальный ассистент.
|
||
|
||
## 🛠 Как запустить
|
||
```python
|
||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||
|
||
model_name = "lumasik/quark-1-248m-base"
|
||
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
||
model = AutoModelForCausalLM.from_pretrained(model_name)
|
||
|
||
prompt = "В глубоком космосе висел заброшенный корабль,"
|
||
inputs = tokenizer(prompt, return_tensors="pt")
|
||
outputs = model.generate(**inputs, max_length=100)
|
||
print(tokenizer.decode(outputs[0])) |