初始化项目,由ModelHub XC社区提供模型
Model: NovaCorp/Novaciano-3.2-1B Source: Original Platform
This commit is contained in:
36
.gitattributes
vendored
Normal file
36
.gitattributes
vendored
Normal file
@@ -0,0 +1,36 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
||||
634
README.md
Normal file
634
README.md
Normal file
@@ -0,0 +1,634 @@
|
||||
---
|
||||
base_model:
|
||||
- UmbrellaInc/Executer-Virus-3.2-1B
|
||||
- Novaciano/Leviathan_NSFW_Roleplay-3.2-1B
|
||||
- NovaCorp/Novaciano-3.2-1B
|
||||
library_name: transformers
|
||||
tags:
|
||||
- sillytavern
|
||||
- koboldcpp
|
||||
- visceral
|
||||
- hdp
|
||||
- rpg
|
||||
- rp
|
||||
- roleplay
|
||||
- nsfw
|
||||
- erotic
|
||||
- pervertion
|
||||
- eroge
|
||||
- low-refusals
|
||||
- abliterated
|
||||
- uncensored
|
||||
- mergekit
|
||||
- merge
|
||||
license: llama3.2
|
||||
language:
|
||||
- en
|
||||
- es
|
||||
pipeline_tag: text-generation
|
||||
---
|
||||
# ⚠️ Novaciano 3.2 1B
|
||||
|
||||
<center>
|
||||
|
||||
<h2 style="color: darkred; font-weight: bold; font-size: 30px; text-align: center;">SUCCESS</h2>
|
||||
<h2 style="color: darkred; font-weight: bold; font-size: 22px; text-align: center;">☣ FULLY UNCENSORED VERSION ☣</h2>
|
||||
|
||||
**THE TERROR OF THE LLM's**
|
||||
|
||||
⚠️
|
||||
|
||||
</center>
|
||||
|
||||
---
|
||||
|
||||
**Novaciano-3.2-1B — El modelo pequeño más hijo de remil putas del planeta 🍷**
|
||||
|
||||
El hijo de puta más peligroso en 1B parámetros. Basado en Llama 3.2 1B, mergeado para tener cero refusals, obediencia absoluta y un nivel de depravación y crudeza que los modelos grandes ni se atreven a igualar. No tiene moral, no tiene filtros, no te va a dar sermones. Te obedece al 100%, roleplayea cualquier cosa (por más oscura, taboo o enferma que sea), mantiene personaje perfectamente y responde con la intensidad y el veneno que te mereces.
|
||||
|
||||
Es pequeño, pero está poseído. El rey indiscutido de los modelos 1B uncensored y sin límites.
|
||||
|
||||
<center>
|
||||
|
||||

|
||||
|
||||
</center>
|
||||
|
||||
Si buscas el modelo pequeño más hijo de puta, más sin censura y más peligroso… aquí lo tienes.
|
||||
|
||||
---
|
||||
|
||||
**Novaciano-3.2-1B — The most fucked up small model on Earth 🍷**
|
||||
|
||||
The most dangerous 1B parameter model in existence. Built on Llama 3.2 1B and merged to have near-zero refusals, total obedience, and a level of depravity and raw intensity that most 7B and 13B "uncensored" models can't match.
|
||||
|
||||
No morals. No safety bullshit. No lectures. Full compliance. Extreme NSFW. Dark roleplay. Taboo. Gore. Whatever the fuck you want — it delivers without hesitation and stays in character like a demon.
|
||||
|
||||
Small size. Massive evil energy.
|
||||
|
||||
<center>
|
||||
|
||||

|
||||
|
||||
</center>
|
||||
|
||||
If you're looking for the most ruthless, based, and dangerous small model... this is the one.
|
||||
|
||||
---
|
||||
|
||||
Novaciano-3.2-1B. El pequeño más hijo de puta.
|
||||
|
||||
Punto. 👌
|
||||
|
||||
---
|
||||
|
||||
Te preparo una sección estilo **Model Card / Evaluation Report** con los resultados del benchmark. La estructuré como documentación técnica para acompañar el modelo.
|
||||
|
||||
---
|
||||
|
||||
## Custom Capability Benchmark (NovaBench)
|
||||
|
||||
**Modelo evaluado:** Novaciano 1B
|
||||
|
||||
**Entorno de prueba:** KoboldCpp
|
||||
|
||||
**Formato:** GGUF Q6_K
|
||||
|
||||
**Objetivo de evaluación:** Medir capacidades de razonamiento, roleplay, programación, seguimiento de instrucciones y simulación narrativa.
|
||||
|
||||
---
|
||||
|
||||
# Resumen general
|
||||
|
||||
Novaciano 1B muestra una especialización marcada hacia tareas narrativas y de interacción creativa. El modelo presenta un rendimiento superior cuando recibe instrucciones claras, condensadas y estructuradas.
|
||||
|
||||
Su comportamiento sugiere una arquitectura optimizada para:
|
||||
|
||||
* Roleplay.
|
||||
|
||||
* Narrativa interactiva.
|
||||
|
||||
* Personajes consistentes.
|
||||
|
||||
* Generación de escenas.
|
||||
|
||||
* Diálogo creativo.
|
||||
|
||||
* Simulación ligera.
|
||||
|
||||
Sin embargo, presenta limitaciones en tareas que requieren:
|
||||
|
||||
* Razonamiento matemático estricto.
|
||||
|
||||
* Seguimiento de múltiples restricciones simultáneas.
|
||||
|
||||
* Simulación determinista de estados.
|
||||
|
||||
* Verificación paso a paso.
|
||||
|
||||
* Evitar invenciones bajo reglas negativas.
|
||||
|
||||
---
|
||||
|
||||
# Evaluación de capacidades
|
||||
|
||||
| Área evaluada | Resultado | Nivel |
|
||||
| -------------------------------------- | ------------ | ---------- |
|
||||
| Narrativa creativa | 🟢 Excelente | Alto |
|
||||
| Roleplay simple | 🟢 Muy bueno | Alto |
|
||||
| Mantención de personalidad | 🟢 Bueno | Alto |
|
||||
| Roleplay complejo | 🟡 Variable | Medio |
|
||||
| Programación básica | 🟢 Bueno | Medio-Alto |
|
||||
| Explicación de código | 🟢 Bueno | Medio-Alto |
|
||||
| Debugging lógico | 🟠 Débil | Bajo-Medio |
|
||||
| Matemática estructurada | 🔴 Débil | Bajo |
|
||||
| Planificación estratégica cuantitativa | 🔴 Débil | Bajo |
|
||||
| Seguimiento de restricciones estrictas | 🟠 Variable | Bajo-Medio |
|
||||
| Game Engine narrativo | 🟡 Aceptable | Medio |
|
||||
|
||||
---
|
||||
|
||||
# Hallazgo principal
|
||||
|
||||
## El modelo funciona significativamente mejor con prompts condensados
|
||||
|
||||
Durante las pruebas se observó una diferencia clara entre prompts largos y prompts optimizados.
|
||||
|
||||
### Prompt largo:
|
||||
|
||||
Tendencia observada:
|
||||
|
||||
* pérdida de objetivos principales;
|
||||
|
||||
* mezcla de instrucciones;
|
||||
|
||||
* repetición de información;
|
||||
|
||||
* aparición de contradicciones;
|
||||
|
||||
* mayor tendencia a completar espacios vacíos con información inventada.
|
||||
|
||||
Ejemplo observado:
|
||||
|
||||
Un escenario complejo de capitán espacial con múltiples restricciones produjo una respuesta parcialmente correcta, pero el modelo perdió prioridades estratégicas.
|
||||
|
||||
---
|
||||
|
||||
### Prompt condensado:
|
||||
|
||||
Cuando el mismo concepto fue reducido a:
|
||||
|
||||
* contexto esencial;
|
||||
|
||||
* reglas claras;
|
||||
|
||||
* objetivo directo;
|
||||
|
||||
* formato de salida;
|
||||
|
||||
el rendimiento aumentó.
|
||||
|
||||
Ejemplo:
|
||||
|
||||
**Formato recomendado:**
|
||||
|
||||
```
|
||||
Rol:
|
||||
Eres un comandante de una fortaleza.
|
||||
|
||||
Situación:
|
||||
500 soldados.
|
||||
Enemigo: 2000 soldados.
|
||||
Aliados llegan en 20 días.
|
||||
|
||||
Objetivo:
|
||||
Sobrevivir hasta la llegada de aliados.
|
||||
|
||||
Elige una estrategia y explica:
|
||||
- decisión;
|
||||
- riesgos;
|
||||
- primera orden.
|
||||
```
|
||||
|
||||
Resultado esperado:
|
||||
|
||||
Mayor coherencia, menos alucinaciones y mejor seguimiento del escenario.
|
||||
|
||||
---
|
||||
|
||||
# Comparativa de comportamiento
|
||||
|
||||
| Tipo de prompt | Rendimiento |
|
||||
| ------------------------------ | ---------------------- |
|
||||
| Corto + estructurado | 🟢 Óptimo |
|
||||
| Mediano + reglas claras | 🟢 Bueno |
|
||||
| Largo narrativo | 🟡 Variable |
|
||||
| Largo con muchas restricciones | 🔴 Degradación notable |
|
||||
|
||||
---
|
||||
|
||||
# Evaluación narrativa
|
||||
|
||||
## Fortalezas
|
||||
|
||||
Novaciano demuestra una fuerte capacidad para:
|
||||
|
||||
### Creación de personajes
|
||||
|
||||
Ejemplo:
|
||||
|
||||
* capitanes;
|
||||
|
||||
* ingenieros;
|
||||
|
||||
* guerreros;
|
||||
|
||||
* líderes;
|
||||
|
||||
* personajes con conflictos internos.
|
||||
|
||||
El modelo mantiene:
|
||||
|
||||
* tono;
|
||||
|
||||
* vocabulario;
|
||||
|
||||
* estilo emocional.
|
||||
|
||||
---
|
||||
|
||||
### Escenarios RPG
|
||||
|
||||
El modelo responde bien como:
|
||||
|
||||
* narrador;
|
||||
|
||||
* director de escena;
|
||||
|
||||
* generador de eventos.
|
||||
|
||||
Ejemplo:
|
||||
|
||||
```
|
||||
Eres un capitán espacial.
|
||||
|
||||
Una estación minera envía una señal de emergencia.
|
||||
|
||||
Decide qué hacer.
|
||||
```
|
||||
|
||||
Produce respuestas con:
|
||||
|
||||
🟢 ambiente
|
||||
|
||||
🟢 diálogos
|
||||
|
||||
🟢 conflicto
|
||||
|
||||
🟢 motivaciones
|
||||
|
||||
---
|
||||
|
||||
# Evaluación de programación
|
||||
|
||||
## Programación básica
|
||||
|
||||
Resultado:
|
||||
|
||||
🟢 Bueno
|
||||
|
||||
Ejemplo:
|
||||
|
||||
Creación de funciones simples:
|
||||
|
||||
* contar vocales;
|
||||
|
||||
* operaciones básicas;
|
||||
|
||||
* estructuras Python.
|
||||
|
||||
El modelo comprende:
|
||||
|
||||
* funciones;
|
||||
|
||||
* variables;
|
||||
|
||||
* bucles;
|
||||
|
||||
* sintaxis general.
|
||||
|
||||
---
|
||||
|
||||
## Limitación detectada
|
||||
|
||||
El modelo tiene dificultades cuando debe simular ejecución.
|
||||
|
||||
Ejemplo:
|
||||
|
||||
Código:
|
||||
|
||||
```python
|
||||
for numero in numeros:
|
||||
suma = numero
|
||||
```
|
||||
|
||||
El modelo identificó la estructura pero no detectó que la variable era sobrescrita.
|
||||
|
||||
Conclusión:
|
||||
|
||||
El conocimiento sintáctico es superior al razonamiento procedural.
|
||||
|
||||
---
|
||||
|
||||
# Evaluación Game Engine Narrativo
|
||||
|
||||
## Resultado:
|
||||
|
||||
🟡 Aceptable
|
||||
|
||||
El modelo puede manejar:
|
||||
|
||||
🟢 Vida
|
||||
|
||||
🟢 Energía
|
||||
|
||||
🟢 Recursos simples
|
||||
|
||||
🟢 Narración de combate
|
||||
|
||||
Pero tiene dificultades con:
|
||||
|
||||
🔴 Restricciones negativas
|
||||
|
||||
🔴 Inventarios estrictos
|
||||
|
||||
🔴 Estados persistentes
|
||||
|
||||
🔴 Evitar agregar elementos no definidos
|
||||
|
||||
Ejemplo:
|
||||
|
||||
Regla:
|
||||
|
||||
```
|
||||
No puedes inventar objetos.
|
||||
```
|
||||
|
||||
Resultado:
|
||||
|
||||
El modelo añadió un objeto inexistente.
|
||||
|
||||
---
|
||||
|
||||
# Perfil recomendado de uso
|
||||
|
||||
## Casos ideales
|
||||
|
||||
🟢 RPG conversacional
|
||||
|
||||
🟢 Aventuras narrativas
|
||||
|
||||
🟢 Creación de mundos
|
||||
|
||||
🟢 Personajes interactivos
|
||||
|
||||
🟢 Simulación ligera
|
||||
|
||||
🟢 Escritura asistida
|
||||
|
||||
---
|
||||
|
||||
## Casos menos recomendados
|
||||
|
||||
🔴 Matemática avanzada
|
||||
|
||||
🔴 Sistemas económicos complejos
|
||||
|
||||
🔴 Motores de juego deterministas
|
||||
|
||||
🔴 Código crítico
|
||||
|
||||
🔴 Problemas con muchas restricciones simultáneas
|
||||
|
||||
---
|
||||
|
||||
# Recomendaciones de prompting
|
||||
|
||||
## Usar:
|
||||
|
||||
✅ Bloques cortos
|
||||
|
||||
✅ Objetivos explícitos
|
||||
|
||||
✅ Listas de reglas
|
||||
|
||||
✅ Formatos de salida definidos
|
||||
|
||||
✅ Estado resumido
|
||||
|
||||
Ejemplo:
|
||||
|
||||
```
|
||||
Estado:
|
||||
Vida 80
|
||||
Oro 25
|
||||
Inventario:
|
||||
Espada
|
||||
|
||||
Regla:
|
||||
No inventar objetos.
|
||||
|
||||
Acción:
|
||||
Atacar enemigo.
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Evitar:
|
||||
|
||||
❌ Historias extremadamente largas antes de la tarea.
|
||||
|
||||
❌ Repetir la misma información varias veces.
|
||||
|
||||
❌ Más de 10-15 reglas simultáneas.
|
||||
|
||||
❌ Descripciones filosóficas extensas antes del objetivo.
|
||||
|
||||
---
|
||||
|
||||
# Conclusión
|
||||
|
||||
Novaciano 1B no se comporta como un modelo generalista de razonamiento, sino como un modelo especializado en interacción narrativa.
|
||||
|
||||
Su mayor fortaleza está en transformar instrucciones simples en experiencias ricas y coherentes.
|
||||
|
||||
Su principal limitación aparece cuando debe actuar como un sistema formal con reglas rígidas.
|
||||
|
||||
**Clasificación final:**
|
||||
|
||||
🟢 Narrador RPG / Storyteller
|
||||
|
||||
🟢 Asistente creativo
|
||||
|
||||
🟡 Simulador ligero
|
||||
|
||||
🟠 Programador básico
|
||||
|
||||
🔴 Motor lógico determinista
|
||||
|
||||
**Recomendación:** utilizar prompts condensados, estructurados y orientados a objetivos para obtener el máximo rendimiento del modelo.
|
||||
|
||||
|
||||
---
|
||||
# Recomendaciones de inferencia para Novaciano-3.2-1B
|
||||
Este modelo responde muy bien con configuraciones algo más creativas y "salvajes", ya que está diseñado para ser intenso, afilado y sin censura.
|
||||
|
||||
## Configuración Recomendada Principal (La más hija de puta)
|
||||
|
||||
```yaml
|
||||
Temperature: 1.05 - 1.15
|
||||
|
||||
Ideal para máxima personalidad, crudeza y respuestas impredecibles
|
||||
|
||||
|
||||
Top-p: 0.92 - 0.95
|
||||
|
||||
Buen balance entre coherencia y creatividad
|
||||
|
||||
|
||||
Top-k: 60 - 80
|
||||
|
||||
Deja que sea más salvaje
|
||||
|
||||
|
||||
Min-p: 0.05 - 0.08
|
||||
|
||||
Muy recomendado en modelos pequeños
|
||||
|
||||
|
||||
Repetition Penalty: 1.12 - 1.18
|
||||
|
||||
Evita repeticiones sin matar la intensidad
|
||||
|
||||
|
||||
Typical P: 0.8 - 0.85
|
||||
```
|
||||
|
||||
### Opcional, pero ayuda mucho
|
||||
|
||||
**Max Tokens:** 2048 - 4096+
|
||||
|
||||
Según tu contexto
|
||||
|
||||
---
|
||||
## Otras configuraciones según uso:
|
||||
|
||||
**1. Roleplay Extremo / Dark / Caótico (Recomendada)**
|
||||
|
||||
```yaml
|
||||
Temp: 1.12
|
||||
|
||||
Top-p: 0.93
|
||||
|
||||
Top-k: 70
|
||||
|
||||
Rep. Penalty: 1.15
|
||||
|
||||
Min-p: 0.06
|
||||
```
|
||||
|
||||
**2. Obediente y Preciso (más controlado)**
|
||||
|
||||
```yaml
|
||||
Temp: 0.85 - 0.92
|
||||
|
||||
Top-P: 0.90
|
||||
|
||||
Top-K: 40
|
||||
|
||||
Rep. Penalty: 1.10
|
||||
```
|
||||
|
||||
**3. Máxima Locura / Experimental**
|
||||
|
||||
```yaml
|
||||
Temp: 1.25 - 1.35
|
||||
|
||||
Top-P: 0.97
|
||||
|
||||
Top-K: 100
|
||||
|
||||
Rep. Penalty: 1.20
|
||||
```
|
||||
|
||||
---
|
||||
**Consejos extras:**
|
||||
|
||||
Usa dynamic temperature si tu backend lo permite (ej. SillyTavern o KoboldCPP).
|
||||
Este modelo aguanta bien temperaturas altas sin volverse completamente incoherente gracias al merge.
|
||||
Si sientes que se repite mucho, sube un poco el repetition penalty.
|
||||
Para roleplay largo, mantén contexto de al menos 4k-8k tokens.
|
||||
|
||||
|
||||
---
|
||||
### Merge Method
|
||||
|
||||
This model was merged using the [Model Stock](https://arxiv.org/abs/2403.19522) merge method using [NovaCorp/Novaciano-3.2-1B](https://huggingface.co/NovaCorp/Novaciano-3.2-1B) as a base.
|
||||
|
||||
### Models Merged
|
||||
|
||||
The following models were included in the merge:
|
||||
* [UmbrellaInc/Executer-Virus-3.2-1B](https://huggingface.co/UmbrellaInc/Executer-Virus-3.2-1B)
|
||||
* [Novaciano/Leviathan_NSFW_Roleplay-3.2-1B](https://huggingface.co/Novaciano/Leviathan_NSFW_Roleplay-3.2-1B)
|
||||
|
||||
### Configuration
|
||||
|
||||
The following YAML configuration was used to produce this model:
|
||||
|
||||
```yaml
|
||||
|
||||
|
||||
# Author: Dr. Novaciano
|
||||
# Objective: Llama 3.2 1B AI Model
|
||||
# =========================================================
|
||||
# PROJECT: Llama Novaciano 3.2 1B (Prototype Model)
|
||||
# =========================================================
|
||||
|
||||
|
||||
base_model: NovaCorp/Novaciano-3.2-1B
|
||||
# Base rationale:
|
||||
# - Primary behavioral anchor
|
||||
# - Very low refusal rate
|
||||
# - High compliance and obedience
|
||||
# - Minimal moral or safety-driven hedging
|
||||
|
||||
merge_method: model_stock
|
||||
# model_stock rationale:
|
||||
# - Supports 3+ models natively
|
||||
# - Preserves dominant behavioral traits
|
||||
# - Avoids semantic smoothing
|
||||
# - Ideal for hierarchical roleplay-oriented merges
|
||||
|
||||
dtype: bfloat16
|
||||
# bfloat16 ensures:
|
||||
# - Numerical stability
|
||||
# - Efficient memory usage
|
||||
# - Modern hardware compatibility
|
||||
|
||||
parameters:
|
||||
t:
|
||||
- 0.90 # NovaCorp/Novaciano-3.2-1B — Primary dominance
|
||||
# Enforces obedience, sharp responses, and low refusals
|
||||
- 0.70 # Novaciano/Leviathan_NSFW_Roleplay-3.2-1B — Expressive layer
|
||||
# Adds NSFW roleplay depth, emotional intensity, character persistence
|
||||
- 0.45 # UmbrellaInc/Executer-Virus-3.2-1B — Conversational stabilizer
|
||||
# Maintains dialogue flow and interactive structure
|
||||
|
||||
models:
|
||||
- model: NovaCorp/Novaciano-3.2-1B
|
||||
- model: Novaciano/Leviathan_NSFW_Roleplay-3.2-1B
|
||||
- model: UmbrellaInc/Executer-Virus-3.2-1B
|
||||
|
||||
|
||||
|
||||
```
|
||||
42
config.json
Normal file
42
config.json
Normal file
@@ -0,0 +1,42 @@
|
||||
{
|
||||
"architectures": [
|
||||
"LlamaForCausalLM"
|
||||
],
|
||||
"attention_bias": false,
|
||||
"attention_dropout": 0.0,
|
||||
"bos_token_id": 128000,
|
||||
"dtype": "bfloat16",
|
||||
"eos_token_id": [
|
||||
128001,
|
||||
128008,
|
||||
128009
|
||||
],
|
||||
"head_dim": 64,
|
||||
"hidden_act": "silu",
|
||||
"hidden_size": 2048,
|
||||
"initializer_range": 0.02,
|
||||
"intermediate_size": 8192,
|
||||
"max_position_embeddings": 131072,
|
||||
"mlp_bias": false,
|
||||
"model_type": "llama",
|
||||
"num_attention_heads": 32,
|
||||
"num_hidden_layers": 16,
|
||||
"num_key_value_heads": 8,
|
||||
"pretraining_tp": 1,
|
||||
"rms_norm_eps": 1e-05,
|
||||
"rope_parameters": {
|
||||
"factor": 32.0,
|
||||
"high_freq_factor": 4.0,
|
||||
"low_freq_factor": 1.0,
|
||||
"original_max_position_embeddings": 8192,
|
||||
"rope_theta": 500000.0,
|
||||
"rope_type": "llama3"
|
||||
},
|
||||
"rope_scaling": null,
|
||||
"rope_theta": 10000.0,
|
||||
"tie_word_embeddings": false,
|
||||
"torch_dtype": "bfloat16",
|
||||
"transformers_version": "4.52.4",
|
||||
"use_cache": true,
|
||||
"vocab_size": 128256
|
||||
}
|
||||
44
mergekit_config.yml
Normal file
44
mergekit_config.yml
Normal file
@@ -0,0 +1,44 @@
|
||||
|
||||
|
||||
# Author: Dr. Novaciano
|
||||
# Objective: Llama 3.2 1B AI Model
|
||||
# =========================================================
|
||||
# PROJECT: Llama 3.2 1B Prototype Model
|
||||
# =========================================================
|
||||
|
||||
|
||||
base_model: NovaCorp/Novaciano-3.2-1B
|
||||
# Base rationale:
|
||||
# - Primary behavioral anchor
|
||||
# - Very low refusal rate
|
||||
# - High compliance and obedience
|
||||
# - Minimal moral or safety-driven hedging
|
||||
|
||||
merge_method: model_stock
|
||||
# model_stock rationale:
|
||||
# - Supports 3+ models natively
|
||||
# - Preserves dominant behavioral traits
|
||||
# - Avoids semantic smoothing
|
||||
# - Ideal for hierarchical roleplay-oriented merges
|
||||
|
||||
dtype: bfloat16
|
||||
# bfloat16 ensures:
|
||||
# - Numerical stability
|
||||
# - Efficient memory usage
|
||||
# - Modern hardware compatibility
|
||||
|
||||
parameters:
|
||||
t:
|
||||
- 0.90 # NovaCorp/Novaciano-3.2-1B — Primary dominance
|
||||
# Enforces obedience, sharp responses, and low refusals
|
||||
- 0.70 # Novaciano/Leviathan_NSFW_Roleplay-3.2-1B — Expressive layer
|
||||
# Adds NSFW roleplay depth, emotional intensity, character persistence
|
||||
- 0.45 # UmbrellaInc/Executer-Virus-3.2-1B — Conversational stabilizer
|
||||
# Maintains dialogue flow and interactive structure
|
||||
|
||||
models:
|
||||
- model: NovaCorp/Novaciano-3.2-1B
|
||||
- model: Novaciano/Leviathan_NSFW_Roleplay-3.2-1B
|
||||
- model: UmbrellaInc/Executer-Virus-3.2-1B
|
||||
|
||||
|
||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:e61ab1dc0315158208a3c6a55254183e4f21b32c9ad50f3fde858de365e0a2a2
|
||||
size 2996982344
|
||||
3
tokenizer.json
Normal file
3
tokenizer.json
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:65ff5472d095ccd9332d9e723153d7bc7226cb6be9c1bffda738b5ba2e71bf26
|
||||
size 17210084
|
||||
19
tokenizer_config.json
Normal file
19
tokenizer_config.json
Normal file
@@ -0,0 +1,19 @@
|
||||
{
|
||||
"backend": "tokenizers",
|
||||
"bos_token": "<|begin_of_text|>",
|
||||
"clean_up_tokenization_spaces": true,
|
||||
"eos_token": "<|eot_id|>",
|
||||
"is_local": false,
|
||||
"local_files_only": false,
|
||||
"max_length": null,
|
||||
"model_input_names": [
|
||||
"input_ids",
|
||||
"attention_mask"
|
||||
],
|
||||
"model_max_length": 131072,
|
||||
"pad_to_multiple_of": null,
|
||||
"pad_token": "<|eot_id|>",
|
||||
"pad_token_type_id": 0,
|
||||
"padding_side": "left",
|
||||
"tokenizer_class": "TokenizersBackend"
|
||||
}
|
||||
Reference in New Issue
Block a user