---
language:
- eng
- ru
tags:
- text-generation
- pytorch
- safetensors
- quark
license: mit
datasets:
- wikipedia
- fineweb
metrics:
- loss
---

<p align="center">
  <img src="https://huggingface.co/lumasik/quark-1-248m-base/resolve/main/banner.png" width="100%">
</p>

# ⚛️ Quark-1-248M-Base

Это языковая модель на **248 миллионов параметров**. Модель построена на архитектуре Llama и обучена с нуля на русскоязычном и англоязычном датасете. 

**Quark** — это эксперимент по созданию эффективных и быстрых моделей, которые можно обучать в домашних условиях на "народном" железе.

## 📊 Характеристики
* **Размер:** 248M параметров.
* **Архитектура:** Llama-based.
* **Контекстное окно:** 1024 токена.
* **Токенизатор:** Кастомный BPE на 32,000 токенов.
* **Железо:** Обучалась на одной **NVIDIA RTX 3060 (12GB)**.
* **Режим:** BF16 (fused AdamW).
* **Метрики:** средний loss 3.2

---

## 🧠 Что она умеет?
* **Грамматика:** Модель на удивление чисто пишет по-русски, соблюдает пунктуацию и не валит падежи.
* **Логика:** Уверенно строит сложные предложения, но иногда может уйти в философский цикл.
* **Факты:** Знает базу, но может уверенно врать (галлюцинировать) или нести чушь, если вопрос слишком специфический. Помните: это база (base), а не финальный ассистент.

## 🛠 Как запустить
```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "lumasik/quark-1-248m-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

prompt = "В глубоком космосе висел заброшенный корабль,"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0]))