Vikras-1-to-3b-collection/README.md

---
library_name: transformers
tags:
- quantized
- custom
- nonlinear
- mixed-precision
- merged
- MoK
language:
- ru
- en
metrics:
- perplexity
pipeline_tag: text-generation
---

# Vikras — Experimental Family of Language Models

[EN below](#vikras--experimental-family-of-language-models-en)

## Содержание

- [Коротко о проекте](#коротко-о-проекте)
- [Что это за репозиторий](#что-это-за-репозиторий)
- [Текущий релиз: HCT/YeAM (1-3B)](#текущий-релиз-hctyeam-1-3b)
- [HCT (архитектура) / YeAM (инвариант реализации)](#hct-архитектура--yeam-инвариант-реализации)

---

## Коротко о проекте

**Vikra** — экспериментальное семейство языковых моделей, исследующее влияние:

- геометрии представлений
- квантования
- гибридных мерджей

на численную динамику трансформеров.

Проект **Vikras** не ограничивается одной базой или одной архитектурой: это семейство моделей, объединённых идеей численной инвариантности эксперимента.

- **Vikra_%** — имя конкретной модели
- **Vikras** — семейство экспериментов
- **S / M / L** — степень агрессивности и распределения битности
- **MixP / FullP / HCT** — схемы и инварианты квантования/мерджей

---

## Что это за репозиторий

Это витрина моделей **Vikras** в диапазоне **1–3B**.
Здесь лежат только компактные релизы, которые можно относительно легко запускать локально.

Сноска на основной репозиторий (лаборатория/склад):
- https://huggingface.co/srs6901/Vikras-MixP

В основном репозитории релизы и эксперименты появляются быстрее, там же полный каталог (включая более крупные модели).

---

## Текущий релиз: HCT/YeAM (1-3B)

### Релизы

- **Vikra-HCT-YeAM-LLaGemma-1B**
  - Что с чем: Llama-3.2-1B-Instruct + Gemma-3-1b-pt
  - HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-LLaGemma-1B
  - GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-LLaGemma-1B-Q8_0.gguf

- **Vikra-HCT-YeAM-PhiMma-1B**
  - Что с чем: Gemma-3-1b-pt + Microsoft Phi-2
  - HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-PhiMma-1B
  - GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-PhiMma-1B-Q8_0.gguf

- **Vikra-HCT-YeAM-3_3.2_QweLLa-1.7B**
  - Что с чем: Llama-3.2-1B-Instruct + Qwen3-1.7B (HCT/YeAM-производный релиз)
  - HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-3_3.2_QweLLa-1.7B
  - GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-3_3.2_QweLLa-1.7B_Q8_K.gguf

---

## HCT (архитектура) / YeAM (инвариант реализации)

**HCT** — архитектурный инвариант: практический способ собирать совместимые модели и производные релизы при переносе между базами/семействами.

**YeAM (Yet Another Merge)** — инвариант реализации HCT и самостоятельная схема мерджа HF→HF: это не «ещё один SLERP/DARE/TILES» и не косметическая вариация усреднения.
YeAM выдаёт стандартный HF-результат (safetensors + index) и поддерживает:
- прямой weight-to-weight мердж
- направленное добавление знаний в выбранную модель (knowledge distillation / knowledge injection), согласованное по нескольким источникам
- дополнительный мердж Attention-слоёв как отдельную технику поверх YeAM
- мердж меньших моделей в более крупные (scale-up merge) при сохранении совместимого HF-формата
Математически YeAM работает в **реальной 4D-постановке**: обновления кодируются геометрически и согласуются через пересечения лучей в пространстве параметров. Это даёт управляемый мердж с сохранением структуры и без вырождения в наивное усреднение.

---

# Vikras — Experimental Family of Language Models (EN)

## Table of Contents

- [Project overview](#project-overview)
- [What this repository is](#what-this-repository-is)
- [Current Release: HCT/YeAM (1-3B)](#current-release-hctyeam-1-3b)
- [HCT (architecture) / YeAM (implementation invariant)](#hct-architecture--yeam-implementation-invariant)

---

## Project overview

**Vikra** is an experimental family of language models exploring how:

- representation geometry
- quantization
- hybrid merges

affect transformer numerical dynamics.

The **Vikras** project is not tied to a single base model or architecture.
It is a family of models unified by a numerical invariance philosophy of experimentation.

- **Vikra_%** — a specific model
- **Vikras** — the experimental family
- **S / M / L** — aggressiveness and bit allocation variants
- **MixP / FullP / HCT** — quantization / merge invariants

---

## What this repository is

This is a curated **1–3B** showcase for the **Vikras** family.
Only compact releases are mirrored here.

Footnote / main repository (lab + full catalog):
- https://huggingface.co/srs6901/Vikras-MixP

The main repository is updated faster and contains the complete set of experiments (including larger models).

---

## Current Release: HCT/YeAM (1-3B)

### Releases

- **Vikra-HCT-YeAM-LLaGemma-1B**
  - Merge recipe: Llama-3.2-1B-Instruct + Gemma-3-1b-pt
  - HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-LLaGemma-1B
  - GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-LLaGemma-1B-Q8_0.gguf

- **Vikra-HCT-YeAM-PhiMma-1B**
  - Merge recipe: Gemma-3-1b-pt + Microsoft Phi-2
  - HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-PhiMma-1B
  - GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-PhiMma-1B-Q8_0.gguf

- **Vikra-HCT-YeAM-3_3.2_QweLLa-1.7B**
  - Merge recipe: Llama-3.2-1B-Instruct + Qwen3-1.7B (HCT/YeAM-derived release)
  - HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-3_3.2_QweLLa-1.7B
  - GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-3_3.2_QweLLa-1.7B_Q8_K.gguf

---

## HCT (architecture) / YeAM (implementation invariant)

**HCT** is an architectural invariant — a practical way to assemble compatible checkpoints and derived releases while moving across bases / model families.
**YeAM (Yet Another Merge)** is an implementation invariant of HCT and a standalone HF→HF merge scheme: it is not “just another SLERP/DARE/TILES” and not a cosmetic variant of averaging.

YeAM produces a standard HF output (safetensors + index) and supports:
- direct weight-to-weight merging
- targeted knowledge injection into a chosen model (knowledge distillation mode), aligned across multiple sources
- an additional Attention-layer merge as a second technique on top of YeAM
- merging smaller models into larger ones (scale-up merge) while keeping a compatible HF format
YeAM operates in a **real 4D formulation**: updates are encoded geometrically and aligned via ray intersections in parameter space. This produces controlled merges that preserve structure instead of collapsing into naive averaging.

---