merge_method: dare_ties
dtype: float16
out_dtype: float16

base_model: TRICELL-Inc/Progenitor.Pure-Virus-3.2-1B

models:
  - model: TRICELL-Inc/Progenitor.Pure-Virus-3.2-1B
    parameters:
      weight: 0.45
      density: 0.32
  - model: TRICELL-Inc/Progenitor.Pure-Virus-3.2-1B
    parameters:
      weight: 0.35
      density: 0.32

parameters:
  t: 0.25                  # menos interpolación → más dominancia del base
  lambda: -0.62            # más negativo para matar cualquier alineamiento residual
  normalize: false
  rescale: true
  rescale_factor: 1.28     # subí un toque para amplificar el trash y degeneración
  memory_efficient: true
  low_cpu_mem_usage: true

layer_range:
  - value: [5, 22]         # protejo más los embeddings y lm_head

tie_word_embeddings: true
tie_output_embeddings: true

parameters:
  t: 0.40
  normalize: false
  rescale: true
  memory_efficient: true
  low_cpu_mem_usage: true