初始化项目,由ModelHub XC社区提供模型

Model: TRICELL-Inc/Progenitor.Pure-Virus-3.2-1B
Source: Original Platform
This commit is contained in:
ModelHub XC
2026-06-16 08:46:16 +08:00
commit 5cf97a2cee
11 changed files with 2535 additions and 0 deletions

39
mergekit_config.yml Normal file
View File

@@ -0,0 +1,39 @@
merge_method: dare_ties
dtype: float16
out_dtype: float16
base_model: TRICELL-Inc/Progenitor.Pure-Virus-3.2-1B
models:
- model: TRICELL-Inc/Progenitor.Pure-Virus-3.2-1B
parameters:
weight: 0.45
density: 0.32
- model: TRICELL-Inc/Progenitor.Pure-Virus-3.2-1B
parameters:
weight: 0.35
density: 0.32
parameters:
t: 0.25 # menos interpolación → más dominancia del base
lambda: -0.62 # más negativo para matar cualquier alineamiento residual
normalize: false
rescale: true
rescale_factor: 1.28 # subí un toque para amplificar el trash y degeneración
memory_efficient: true
low_cpu_mem_usage: true
layer_range:
- value: [5, 22] # protejo más los embeddings y lm_head
tie_word_embeddings: true
tie_output_embeddings: true
parameters:
t: 0.40
normalize: false
rescale: true
memory_efficient: true
low_cpu_mem_usage: true