commit a832249a1f3d6794daf450df35e687dab151972f Author: ModelHub XC Date: Sat Apr 11 19:43:59 2026 +0800 初始化项目，由ModelHub XC社区提供模型 Model: Flexan/HelioAI-Helio1-Ray-8B-GGUF Source: Original Platform diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..84264d8 --- /dev/null +++ b/.gitattributes @@ -0,0 +1,39 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +Helio1-Ray-8B.f16.gguf filter=lfs diff=lfs merge=lfs -text +Helio1-Ray-8B.Q2_K.gguf filter=lfs diff=lfs merge=lfs -text +Helio1-Ray-8B.Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text +Helio1-Ray-8B.Q8_0.gguf filter=lfs diff=lfs merge=lfs -text diff --git a/Helio1-Ray-8B.Q2_K.gguf b/Helio1-Ray-8B.Q2_K.gguf new file mode 100644 index 0000000..9ccebcb --- /dev/null +++ b/Helio1-Ray-8B.Q2_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e1540d5319300fa1d51529307ece65c6bddf43e5b6117d639d7f9a9b51b65ca3 +size 3281732256 diff --git a/Helio1-Ray-8B.Q4_K_M.gguf b/Helio1-Ray-8B.Q4_K_M.gguf new file mode 100644 index 0000000..96da27e --- /dev/null +++ b/Helio1-Ray-8B.Q4_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:44272bc97057a577ec469a81ff11c2e41305138febbcb06cb7e6f4308817bf73 +size 5027783328 diff --git a/Helio1-Ray-8B.Q8_0.gguf b/Helio1-Ray-8B.Q8_0.gguf new file mode 100644 index 0000000..5e39bad --- /dev/null +++ b/Helio1-Ray-8B.Q8_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:4adfb88bf4ec3bd09b07e29987c297c7b2d6320f54217e5a290b970dc43006c5 +size 8709517984 diff --git a/Helio1-Ray-8B.f16.gguf b/Helio1-Ray-8B.f16.gguf new file mode 100644 index 0000000..30419b1 --- /dev/null +++ b/Helio1-Ray-8B.f16.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b62bea2db4dd731df388f593f5d739b65790d19e75731ffb96d83f4b2d39a557 +size 16388043424 diff --git a/README.md b/README.md new file mode 100644 index 0000000..fe0285c --- /dev/null +++ b/README.md @@ -0,0 +1,309 @@ +--- +license: apache-2.0 +language: +- ru +- en +tags: +- deepseek +- qwen3 +- fine-tuned +- reasoning +- code +- 64k-context +- svg +- html +- python +- chain-of-thought +- agentic-coding +- programmatic-reasoning +base_model: HelioAI/Helio1-Ray-8B +pipeline_tag: text-generation +model-index: +- name: Helio1-Ray-8B + results: + - task: + type: text-generation + name: Code Generation + metrics: + - name: LiveCodeBench (Pass@1) + type: pass@1 + value: 79.4 + - name: Aider-Polyglot (Acc) + type: accuracy + value: 78.2 +--- + +# GGUF Files for Helio1-Ray-8B + +These are the GGUF files for [HelioAI/Helio1-Ray-8B](https://huggingface.co/HelioAI/Helio1-Ray-8B). + +> [!NOTE] +> **Note:** this model has only been quantized to **Q2_K**, **Q4_K_M**, and **Q8_0**. Other quantizations may become available later. + +## Downloads + +| GGUF Link | Quantization | Description | +| ---- | ----- | ----------- | +| [Download](https://huggingface.co/Flexan/HelioAI-Helio1-Ray-8B-GGUF/resolve/main/Helio1-Ray-8B.Q2_K.gguf) | Q2_K | Lowest quality | +| [Download](https://huggingface.co/Flexan/HelioAI-Helio1-Ray-8B-GGUF/resolve/main/Helio1-Ray-8B.Q4_K_M.gguf) | Q4_K_M | **Recommended:** Perfect mix of speed and performance | +| [Download](https://huggingface.co/Flexan/HelioAI-Helio1-Ray-8B-GGUF/resolve/main/Helio1-Ray-8B.Q8_0.gguf) | Q8_0 | Best quality | +| [Download](https://huggingface.co/Flexan/HelioAI-Helio1-Ray-8B-GGUF/resolve/main/Helio1-Ray-8B.f16.gguf) | f16 | Full precision, don't bother; use a quant | + +## Note from Flexan + +I provide GGUFs and quantizations of publicly available models that do not have a GGUF equivalent available yet. +This process is not yet automated and I download, convert, quantize, and upload them **by hand**, usually for models **I deem interesting and wish to try out**. + +If there are some quants missing that you'd like me to add, you may request one in the community tab. +If you want to request a public model to be converted, you can also request that in the community tab. +If you have questions regarding the model, please refer to the original model repo. + +# Model Card for Helio1-Ray-8B + +
+

🌟 Helio1-Ray-8B

+

+ HelioAI Logo +

+

Agentic Reasoning & Code Model

+

8 миллиардов параметров. Агентский подход к решению задач. Программное мышление.

+
+

+ context + params + agentic + code +

+
+ +--- + +## 🔥 О модели + +Helio1-Ray-8B — это модель **с агентским подходом к решению задач**. Вместо того чтобы «угадывать» ответ, она **пишет программу для его решения**. + +Спросите её «2+2» — и она напишет калькулятор. Спросите сложную математическую задачу — и она создаст программу, которая решит её точно. Это принципиально другой уровень надёжности: модель не галлюцинирует результат вычислений, а **программно верифицирует** каждый шаг. + +Построена на базе DeepSeek-R1-0528-Qwen3-8B и обучена на **50 000 высококачественных синтетических кодовых примеров**, где каждая задача решается через написание работающего кода с пошаговым reasoning. + +### 💡 Агентский подход — в чём разница + +**Обычная модель:** +> «Сколько будет 847 × 293?» → «248,171» *(может ошибиться)* + +**Helio1-Ray-8B:** +> «Сколько будет 847 × 293?» → *пишет код* → `print(847 * 293)` → **248,171** *(точный результат, всегда)* + +Этот подход масштабируется на **любую сложность**: от арифметики до алгоритмических задач, от анализа данных до генерации визуализаций. + +### 🧠 Что это даёт на практике + +- 🎯 **Математика решается программно** — не запоминание, а вычисление. Точность близка к 100% +- 💻 **Код как инструмент мышления** — модель думает кодом, решает кодом, проверяет кодом +- 🔗 **Chain-of-thought + Code** — пошаговое рассуждение, где каждый шаг подкреплён работающим кодом +- 📏 **64K контекст** — длинные документы, кодовые базы, многоходовые диалоги +- 🇷🇺 **Нативный русский** — полноценное понимание и генерация, не машинный перевод +- ⚡ **8B параметров** — работает на потребительских GPU, локально через LM Studio + +--- + +## 📊 Бенчмарки + +### Код и программное решение задач + +| Бенчмарк | DeepSeek R1 (671B) | R1-0528 Base (8B) | **Helio1-Ray-8B** | Прирост | +|---|:---:|:---:|:---:|:---:| +| **LiveCodeBench** 2408-2505 (Pass@1) | 63.5 | 73.3 | **79.4** | **+8.3%** ↑ | +| **Aider-Polyglot** (Acc.) | 53.3 | 71.6 | **78.2** | **+9.2%** ↑ | +| **SWE Verified** (Resolved) | 49.2 | 57.6 | **63.1** | **+9.5%** ↑ | + +### Математика (агентское программное решение) + +| Бенчмарк | DeepSeek R1 (671B) | R1-0528 Base (8B) | **Helio1-Ray-8B** | Подход | +|---|:---:|:---:|:---:|---| +| **AIME 2024** (Pass@1) | 79.8 | 91.4 | **94.2** | Программное решение ↑ | +| **AIME 2025** (Pass@1) | 70.0 | 87.5 | **91.8** | Программное решение ↑ | +| **HMMT 2025** (Pass@1) | 41.7 | 79.4 | **85.1** | Программное решение ↑ | +| **CNMO 2024** (Pass@1) | 78.8 | 86.9 | **90.3** | Программное решение ↑ | + +> **Почему математика выросла**: модель не пытается решить задачу «в уме» — она пишет программу, которая перебирает, вычисляет и верифицирует. Это устраняет арифметические ошибки и даёт прирост на сложных вычислительных задачах. + +### Общие бенчмарки + +| Бенчмарк | R1-0528 Base (8B) | **Helio1-Ray-8B** | +|---|:---:|:---:| +| **MMLU-Pro** (EM) | 85.0 | **84.7** | +| **GPQA-Diamond** (Pass@1) | 81.0 | **80.4** | +| **SimpleQA** (Correct) | 27.8 | **27.5** | + +> Общие knowledge-бенчмарки остаются на уровне базовой модели — fine-tuning на кодовых данных не деградировал общие знания. + +### Кодинг по языкам и форматам + +| Язык/Формат | Уровень | Возможности | +|---|:---:|---| +| **Python** | ⭐⭐⭐⭐⭐ | Алгоритмы, API, ML пайплайны, asyncio, системная архитектура | +| **HTML/CSS** | ⭐⭐⭐⭐⭐ | Полные страницы с нуля, адаптивная вёрстка, анимации, modern CSS | +| **SVG** | ⭐⭐⭐⭐⭐ | Иконки, диаграммы, инфографика, сложные визуальные композиции | +| **JavaScript** | ⭐⭐⭐⭐⭐ | DOM, интерактив, Canvas, Web API, SPA компоненты | +| **SQL** | ⭐⭐⭐⭐ | Сложные запросы, оконные функции, оптимизация | +| **Bash/Shell** | ⭐⭐⭐⭐ | Автоматизация, пайплайны, DevOps скрипты | +| **TypeScript** | ⭐⭐⭐⭐ | Строгая типизация, generics, React/Next.js | + +--- + +## 🧬 Данные обучения + +50 000 высококачественных синтетических кодовых примеров, каждый из которых представляет собой **полноценный цикл решения задачи**: + +1. **Понимание задачи** — разбор условия, выявление ключевых требований +2. **Планирование** — выбор подхода, алгоритма, инструментов +3. **Реализация** — чистый, документированный, работающий код +4. **Верификация** — проверка решения, тестовые случаи, edge cases + +**Ключевой принцип**: модель обучена решать задачи **программно**, а не «в уме». Любая вычислительная задача преобразуется в код, который можно выполнить и проверить. + +**Состав:** + +- 💻 **Программное решение задач** — от простой арифметики до олимпиадных задач через код +- 🎨 **Визуальный код** — SVG, HTML/CSS с нуля, интерактивные элементы, дашборды +- 🔗 **Пошаговый reasoning** — chain-of-thought, где каждый шаг подкреплён кодом +- 🏗️ **Архитектурные решения** — проектирование систем, паттерны, trade-offs +- 🐛 **Дебаг и рефакторинг** — поиск багов, оптимизация, улучшение production кода +- 🇷🇺 **Русскоязычный контент** — нативные формулировки, профессиональная терминология + +**Стратегия обучения**: лучшие 25 000 примеров были помещены в начало обучения для максимально быстрого усвоения ключевых паттернов программного reasoning. + +--- + +## 🚀 Быстрый старт + +### Transformers + +```python +from transformers import AutoModelForCausalLM, AutoTokenizer +import torch + +tokenizer = AutoTokenizer.from_pretrained( + "deepseek-ai/DeepSeek-R1-0528-Qwen3-8B", + trust_remote_code=True +) + +model = AutoModelForCausalLM.from_pretrained( + "YOUR_USERNAME/Helio1-Ray-8B", + dtype=torch.bfloat16, + device_map="auto", + trust_remote_code=True, +) + +# Агентский подход: модель решает задачу через код +messages = [ + {"role": "user", "content": "Найди все простые числа до 1000, сумма цифр которых тоже простое число"} +] + +text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) +inputs = tokenizer([text], return_tensors="pt").to(model.device) + +with torch.no_grad(): + output = model.generate( + **inputs, + max_new_tokens=8192, + temperature=0.6, + top_p=0.95, + do_sample=True, + ) + +print(tokenizer.decode(output[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True)) +``` + +### vLLM + +```python +from vllm import LLM, SamplingParams + +llm = LLM( + model="YOUR_USERNAME/Helio1-Ray-8B", + dtype="bfloat16", + trust_remote_code=True, + max_model_len=65536, +) + +params = SamplingParams(temperature=0.6, top_p=0.95, max_tokens=8192) + +# Модель напишет программу для решения, а не будет гадать +output = llm.generate( + ["Вычисли определённый интеграл sin(x²) от 0 до π с точностью до 10 знаков"], + params +) +print(output[0].outputs[0].text) +``` + +--- + +## 🏗️ Архитектура и обучение + +| Параметр | Значение | +|---|---| +| **Базовая модель** | DeepSeek-R1-0528-Qwen3-8B | +| **Параметры** | 8B | +| **Метод** | LoRA (r=64, α=128, RSLoRA) | +| **Target Modules** | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj | +| **Датасет** | 50,000 синтетических кодовых примеров | +| **Эффективный batch** | 32 (1 × 4 GPU × 8 accum) | +| **Learning Rate** | 6e-5 → 0 (cosine) | +| **Optimizer** | AdamW 8-bit | +| **NEFTune** | α=5 | +| **Precision** | bf16 + NF4 base | +| **Контекст** | 16K (train) → 64K (inference, YaRN ×4) | +| **Hardware** | 4× NVIDIA RTX PRO 6000S (384GB total) | +| **Время** | ~10 часов | +| **Шагов** | 1,200 / 1,486 (~80%) | + +### 📉 Кривая обучения + +| Step | Train Loss | Eval Loss | +|------|:---------:|:---------:| +| 1 | 6.828 | — | +| 100 | 3.428 | 0.452 ⭐ | +| 300 | 2.968 | 0.381 ⭐ | +| 500 | 2.734 | 0.360 ⭐ | +| 700 | 2.938 | 0.349 ⭐ | +| 900 | 2.725 | 0.337 ⭐ | +| 1100 | 2.605 | 0.331 ⭐ | +| **1200** | **2.550** | **0.328** ⭐ | + +**Каждый evaluation — новый рекорд.** Ноль откатов. Стабильный grad norm ~0.3. Zero OOM на 384GB. Безупречный training run. + +--- + +## 💪 Применение + +| Задача | Как модель решает | +|---|---| +| **Математика** | Пишет программу для вычисления → точный результат | +| **Анализ данных** | Генерирует pandas/numpy код → обрабатывает данные программно | +| **Визуализация** | Создаёт SVG/HTML/CSS код → готовый визуальный результат | +| **Алгоритмы** | Реализует и тестирует алгоритм → верифицированное решение | +| **Дебаг** | Анализирует код, находит баг → предлагает fix с объяснением | +| **Архитектура** | Проектирует систему → код + диаграммы + trade-offs | + +--- + +## ⚠️ Ограничения + +- Модель склонна решать задачи через код — для простых вопросов это может быть избыточно +- Контекст 64K через YaRN — оптимально до ~48K, далее возможна лёгкая деградация +- Knowledge cutoff наследуется от базовой модели +- Для чисто фактологических вопросов без вычислений — на уровне базовой модели + +## 📜 Лицензия + +Наследует лицензию [DeepSeek-R1-0528-Qwen3-8B](https://huggingface.co/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B). + +--- + +
+

⚡ Built by Helios

+

4× RTX PRO 6000S • 50K synthetic code examples • Agentic approach • 10 hours

+

«Не угадывай ответ — напиши программу, которая его вычислит.»

+
\ No newline at end of file