srs6901/Vikras-1-to-3b-collection
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity
Files
d7b2ea0a4ab8a3e4db8544f9c2c8dcb76f7b6b75
Vikras-1-to-3b-collection/README.md
ModelHub XC d7b2ea0a4a 初始化项目，由ModelHub XC社区提供模型 
Model: srs6901/Vikras-1-to-3b-collection
Source: Original Platform
2026-06-20 02:10:24 +08:00

8.3 KiB
Raw Blame History

library_name, tags, language, metrics, pipeline_tag
library_name tags language metrics pipeline_tag
transformers
quantized
custom
nonlinear
mixed-precision
merged
MoK
ru
en
perplexity
text-generation

Vikras — Experimental Family of Language Models

EN below

Содержание

Коротко о проекте

Vikra — экспериментальное семейство языковых моделей, исследующее влияние:

  • геометрии представлений
  • квантования
  • гибридных мерджей

на численную динамику трансформеров.

Проект Vikras не ограничивается одной базой или одной архитектурой: это семейство моделей, объединённых идеей численной инвариантности эксперимента.

  • Vikra_% — имя конкретной модели
  • Vikras — семейство экспериментов
  • S / M / L — степень агрессивности и распределения битности
  • MixP / FullP / HCT — схемы и инварианты квантования/мерджей

Что это за репозиторий

Это витрина моделей Vikras в диапазоне 1–3B. Здесь лежат только компактные релизы, которые можно относительно легко запускать локально.

Сноска на основной репозиторий (лаборатория/склад):

В основном репозитории релизы и эксперименты появляются быстрее, там же полный каталог (включая более крупные модели).

Текущий релиз: HCT/YeAM (1-3B)

Релизы

HCT (архитектура) / YeAM (инвариант реализации)

HCT — архитектурный инвариант: практический способ собирать совместимые модели и производные релизы при переносе между базами/семействами.

YeAM (Yet Another Merge) — инвариант реализации HCT и самостоятельная схема мерджа HF→HF: это не «ещё один SLERP/DARE/TILES» и не косметическая вариация усреднения. YeAM выдаёт стандартный HF-результат (safetensors + index) и поддерживает:

  • прямой weight-to-weight мердж
  • направленное добавление знаний в выбранную модель (knowledge distillation / knowledge injection), согласованное по нескольким источникам
  • дополнительный мердж Attention-слоёв как отдельную технику поверх YeAM
  • мердж меньших моделей в более крупные (scale-up merge) при сохранении совместимого HF-формата Математически YeAM работает в реальной 4D-постановке: обновления кодируются геометрически и согласуются через пересечения лучей в пространстве параметров. Это даёт управляемый мердж с сохранением структуры и без вырождения в наивное усреднение.

Vikras — Experimental Family of Language Models (EN)

Table of Contents

Project overview

Vikra is an experimental family of language models exploring how:

  • representation geometry
  • quantization
  • hybrid merges

affect transformer numerical dynamics.

The Vikras project is not tied to a single base model or architecture. It is a family of models unified by a numerical invariance philosophy of experimentation.

  • Vikra_% — a specific model
  • Vikras — the experimental family
  • S / M / L — aggressiveness and bit allocation variants
  • MixP / FullP / HCT — quantization / merge invariants

What this repository is

This is a curated 1–3B showcase for the Vikras family. Only compact releases are mirrored here.

Footnote / main repository (lab + full catalog):

The main repository is updated faster and contains the complete set of experiments (including larger models).

Current Release: HCT/YeAM (1-3B)

Releases

HCT (architecture) / YeAM (implementation invariant)

HCT is an architectural invariant — a practical way to assemble compatible checkpoints and derived releases while moving across bases / model families. YeAM (Yet Another Merge) is an implementation invariant of HCT and a standalone HF→HF merge scheme: it is not “just another SLERP/DARE/TILES” and not a cosmetic variant of averaging.

YeAM produces a standard HF output (safetensors + index) and supports:

  • direct weight-to-weight merging
  • targeted knowledge injection into a chosen model (knowledge distillation mode), aligned across multiple sources
  • an additional Attention-layer merge as a second technique on top of YeAM
  • merging smaller models into larger ones (scale-up merge) while keeping a compatible HF format YeAM operates in a real 4D formulation: updates are encoded geometrically and aligned via ray intersections in parameter space. This produces controlled merges that preserve structure instead of collapsing into naive averaging.