初始化项目,由ModelHub XC社区提供模型
Model: lumasik/quark-1-248m-base Source: Original Platform
This commit is contained in:
55
README.md
Normal file
55
README.md
Normal file
@@ -0,0 +1,55 @@
|
||||
---
|
||||
language:
|
||||
- eng
|
||||
- ru
|
||||
tags:
|
||||
- text-generation
|
||||
- pytorch
|
||||
- safetensors
|
||||
- quark
|
||||
license: mit
|
||||
datasets:
|
||||
- wikipedia
|
||||
- fineweb
|
||||
metrics:
|
||||
- loss
|
||||
---
|
||||
|
||||
<p align="center">
|
||||
<img src="https://huggingface.co/lumasik/quark-1-248m-base/resolve/main/banner.png" width="100%">
|
||||
</p>
|
||||
|
||||
# ⚛️ Quark-1-248M-Base
|
||||
|
||||
Это языковая модель на **248 миллионов параметров**. Модель построена на архитектуре Llama и обучена с нуля на русскоязычном и англоязычном датасете.
|
||||
|
||||
**Quark** — это эксперимент по созданию эффективных и быстрых моделей, которые можно обучать в домашних условиях на "народном" железе.
|
||||
|
||||
## 📊 Характеристики
|
||||
* **Размер:** 248M параметров.
|
||||
* **Архитектура:** Llama-based.
|
||||
* **Контекстное окно:** 1024 токена.
|
||||
* **Токенизатор:** Кастомный BPE на 32,000 токенов.
|
||||
* **Железо:** Обучалась на одной **NVIDIA RTX 3060 (12GB)**.
|
||||
* **Режим:** BF16 (fused AdamW).
|
||||
* **Метрики:** средний loss 3.2
|
||||
|
||||
---
|
||||
|
||||
## 🧠 Что она умеет?
|
||||
* **Грамматика:** Модель на удивление чисто пишет по-русски, соблюдает пунктуацию и не валит падежи.
|
||||
* **Логика:** Уверенно строит сложные предложения, но иногда может уйти в философский цикл.
|
||||
* **Факты:** Знает базу, но может уверенно врать (галлюцинировать) или нести чушь, если вопрос слишком специфический. Помните: это база (base), а не финальный ассистент.
|
||||
|
||||
## 🛠 Как запустить
|
||||
```python
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
|
||||
model_name = "lumasik/quark-1-248m-base"
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
||||
model = AutoModelForCausalLM.from_pretrained(model_name)
|
||||
|
||||
prompt = "В глубоком космосе висел заброшенный корабль,"
|
||||
inputs = tokenizer(prompt, return_tensors="pt")
|
||||
outputs = model.generate(**inputs, max_length=100)
|
||||
print(tokenizer.decode(outputs[0]))
|
||||
Reference in New Issue
Block a user