初始化项目，由ModelHub XC社区提供模型
Model: Mattimax/DAC5-3B Source: Original Platform
This commit is contained in:
ModelHub XC
382
README.md
Normal file
382
README.md
Normal file
@@ -0,0 +1,382 @@
|
||||
---
|
||||
license: mit
|
||||
datasets:
|
||||
- Mattimax/DACMini_Refined
|
||||
- Mattimax/Camoscio-ITA
|
||||
language:
|
||||
- it
|
||||
- en
|
||||
library_name: transformers
|
||||
tags:
|
||||
- DAC
|
||||
- M.INC.
|
||||
- conversational
|
||||
---
|
||||
|
||||
## ☕ Support the project
|
||||
|
||||
[](https://www.buymeacoffee.com/marzomattye)
|
||||
|
||||
## 🇮🇹 ITALIANO
|
||||
|
||||
# 📘 Model Card — Mattimax/DAC5-3B
|
||||
|
||||
## 🧠 Informazioni Generali
|
||||
|
||||
* **Nome:** Mattimax/DAC5-3B
|
||||
* **Serie:** DAC (DATA-AI Chat) – 5ª versione
|
||||
* **Autore:** Mattimax
|
||||
* **Research Lab / Azienda:** MINC01
|
||||
* **Base Model:** Qwen – Qwen2.5-3B-Instruct
|
||||
|
||||
DAC5-3B è attualmente il modello più avanzato e sperimentale della serie DAC, progettato per massimizzare qualità conversazionale, integrandosi al meglio con **server MCP** e performance tecnica su architettura 3B.
|
||||
|
||||
---
|
||||
|
||||
# 🏗 Architettura Tecnica
|
||||
|
||||
### Core Architecture
|
||||
|
||||
* **Architettura:** Qwen2ForCausalLM
|
||||
* **Parametri:** ~3B
|
||||
* **Numero layer:** 36
|
||||
* **Hidden size:** 2048
|
||||
* **Intermediate size:** 11008
|
||||
* **Attention heads:** 16
|
||||
* **Key/Value heads (GQA):** 2
|
||||
* **Attivazione:** SiLU
|
||||
* **Norm:** RMSNorm (eps 1e-6)
|
||||
* **Tie word embeddings:** Yes
|
||||
|
||||
### Attention
|
||||
|
||||
* Full attention su tutti i 36 layer
|
||||
* Attention dropout: 0.0
|
||||
* Sliding window: disabilitato
|
||||
* GQA (Grouped Query Attention) → maggiore efficienza memoria
|
||||
|
||||
### Positional Encoding
|
||||
|
||||
* **Max position embeddings:** 32768
|
||||
* **RoPE theta:** 1,000,000
|
||||
* RoPE scaling: None
|
||||
|
||||
### Precision & Performance
|
||||
|
||||
* Torch dtype: bfloat16
|
||||
* Quantizzazione training: 4-bit (NF4)
|
||||
* Cache abilitata per inference
|
||||
* Ottimizzato con Unsloth (fixed build 2026.2.1)
|
||||
|
||||
### Tokenizer
|
||||
|
||||
* **Vocab size:** 151,936
|
||||
* EOS token id: 151645
|
||||
* PAD token id: 151654
|
||||
|
||||
---
|
||||
|
||||
# 🎯 Obiettivo del Modello
|
||||
|
||||
DAC5-3B è stato progettato per:
|
||||
|
||||
* 🇮🇹 Massima qualità in italiano
|
||||
* ⚡ Alta efficienza su GPU consumer
|
||||
* 🧩 Conversazione coerente multi-turn
|
||||
* 🛠️ Supporto tecnico e coding leggero
|
||||
* 🧠 Migliore stabilità rispetto ai DAC precedenti
|
||||
|
||||
È un modello orientato a sviluppatori indipendenti, maker e sistemi offline (come OpenClaw, Claude Code, OpenCode, ecc...)
|
||||
|
||||
---
|
||||
|
||||
# 📚 Dataset & Specializzazione
|
||||
|
||||
Il fine-tuning supervisionato è stato effettuato su un mix altamente selezionato di dataset italiani:
|
||||
|
||||
* Camoscio-ITA
|
||||
* DACMini Refined
|
||||
* Conversazioni sintetiche italiane ad alta qualità
|
||||
|
||||
### Strategia
|
||||
|
||||
* Dataset limitato ma ad alta densità informativa (~20k esempi)
|
||||
* Minimizzazione del rumore
|
||||
* Focus su chiarezza e coerenza
|
||||
* Riduzione delle risposte generiche tipiche dei 3B
|
||||
|
||||
---
|
||||
|
||||
# 🚀 Capacità Principali
|
||||
|
||||
DAC5-3B eccelle in:
|
||||
|
||||
* Spiegazioni tecniche
|
||||
* Scrittura strutturata
|
||||
* Programmazione livello medio
|
||||
* Traduzione IT ↔ EN
|
||||
* Brainstorming progettuale
|
||||
* Assistenti locali offline
|
||||
* Supporto allo studio
|
||||
|
||||
---
|
||||
|
||||
# 📊 Differenze rispetto ai DAC precedenti
|
||||
|
||||
✔ Maggiore stabilità nelle risposte lunghe
|
||||
✔ Meno ripetizioni
|
||||
✔ Migliore controllo del tono
|
||||
✔ Risposte più dirette
|
||||
✔ Migliore allineamento alle istruzioni
|
||||
|
||||
DAC5 rappresenta il punto più alto raggiunto finora nella serie.
|
||||
|
||||
---
|
||||
|
||||
# ⚠️ Limitazioni
|
||||
|
||||
* Contesto di training effettivo: 1024 token
|
||||
* Non ottimizzato per tool calling complesso
|
||||
* Non specializzato in matematica avanzata
|
||||
* Può degradare su reasoning multi-step molto profondo
|
||||
* Modello sperimentale
|
||||
|
||||
---
|
||||
|
||||
# 💻 Requisiti Hardware
|
||||
|
||||
### Inference consigliata
|
||||
|
||||
* GPU 6–8GB VRAM (quantizzato)
|
||||
* Oppure CPU moderna con GGUF
|
||||
|
||||
Compatibile con:
|
||||
|
||||
* PC consumer
|
||||
* Mini workstation
|
||||
* Sistemi edge
|
||||
* Setup locali offline
|
||||
|
||||
---
|
||||
|
||||
# 🔬 Filosofia DAC
|
||||
|
||||
La serie DAC nasce con l'obiettivo di:
|
||||
|
||||
> Spingere al massimo modelli compatti, ottimizzando qualità reale invece di scalare solo i parametri.
|
||||
|
||||
DAC5-3B è il risultato più maturo di questa filosofia:
|
||||
qualità elevata su architettura 3B con risorse contenute.
|
||||
|
||||
---
|
||||
|
||||
# 🧪 Stato del Modello
|
||||
|
||||
🟡 **Sperimentale ma stabile**
|
||||
È il miglior modello della serie DAC fino ad oggi, ma rimane parte di un ciclo evolutivo continuo.
|
||||
|
||||
---
|
||||
|
||||
## 📚 Citation
|
||||
|
||||
Se utilizzi **Mattimax/DAC5-3B** nei tuoi lavori di ricerca, progetti o pubblicazioni, puoi citarlo nel seguente modo:
|
||||
|
||||
```bibtex
|
||||
@misc{mattimax_dac5_3b_2026,
|
||||
author = {Mattimax},
|
||||
title = {DAC5-3B: Fifth Iteration of the Dynamic Adaptive Core Series},
|
||||
year = {2026},
|
||||
publisher = {Hugging Face},
|
||||
organization = {MINC01},
|
||||
note = {Experimental Italian-specialized 3B language model},
|
||||
url = {https://huggingface.co/Mattimax/DAC5-3B}
|
||||
}
|
||||
```
|
||||
|
||||
Citazione testuale breve:
|
||||
|
||||
> Mattimax. *DAC5-3B: Fifth Iteration of the Dynamic Adaptive Core Series*. 2026. MINC01 Research Lab.
|
||||
|
||||
---
|
||||
|
||||
---
|
||||
|
||||
## 🇬🇧 ENGLISH
|
||||
|
||||
# 📘 Model Card — Mattimax/DAC5-3B
|
||||
|
||||
## 🧠 General Information
|
||||
|
||||
* **Name:** Mattimax/DAC5-3B
|
||||
* **Series:** DAC (DATA-AI Chat) – 5th version
|
||||
* **Author:** Mattimax
|
||||
* **Research Lab / Company:** MINC01
|
||||
* **Base Model:** Qwen – Qwen2.5-3B-Instruct
|
||||
|
||||
DAC5-3B is currently the most advanced and experimental model in the DAC series, designed to maximize conversational quality, integrating better with **MCP servers** and technical performance on a 3B architecture.
|
||||
|
||||
---
|
||||
|
||||
# 🏗 Technical Architecture
|
||||
|
||||
### Core Architecture
|
||||
|
||||
* **Architecture:** Qwen2ForCausalLM
|
||||
* **Parameters:** ~3B
|
||||
* **Number of layers:** 36
|
||||
* **Hidden size:** 2048
|
||||
* **Intermediate size:** 11008
|
||||
* **Attention heads:** 16
|
||||
* **Key/Value heads (GQA):** 2
|
||||
* **Activation:** SiLU
|
||||
* **Norm:** RMSNorm (eps 1e-6)
|
||||
* **Tie word embeddings:** Yes
|
||||
|
||||
### Attention
|
||||
|
||||
* Full attention across all 36 layers
|
||||
* Attention dropout: 0.0
|
||||
* Sliding window: disabled
|
||||
* GQA (Grouped Query Attention) → improved memory efficiency
|
||||
|
||||
### Positional Encoding
|
||||
|
||||
* **Max position embeddings:** 32768
|
||||
* **RoPE theta:** 1,000,000
|
||||
* RoPE scaling: None
|
||||
|
||||
### Precision & Performance
|
||||
|
||||
* Torch dtype: bfloat16
|
||||
* Training quantization: 4-bit (NF4)
|
||||
* Cache enabled for inference
|
||||
* Optimized with Unsloth (fixed build 2026.2.1)
|
||||
|
||||
### Tokenizer
|
||||
|
||||
* **Vocab size:** 151,936
|
||||
* EOS token id: 151645
|
||||
* PAD token id: 151654
|
||||
|
||||
---
|
||||
|
||||
# 🎯 Model Objective
|
||||
|
||||
DAC5-3B was designed for:
|
||||
|
||||
* 🇮🇹 Maximum Italian language quality
|
||||
* ⚡ High efficiency on consumer GPUs
|
||||
* 🧩 Coherent multi-turn conversations
|
||||
* 🛠️ Technical support and light coding
|
||||
* 🧠 Improved stability compared to previous DAC versions
|
||||
|
||||
It is oriented toward independent developers, makers, and offline systems (such as OpenClaw, Claude Code, OpenCode, etc.).
|
||||
|
||||
---
|
||||
|
||||
# 📚 Dataset & Specialization
|
||||
|
||||
Supervised fine-tuning was performed on a highly curated mix of Italian datasets:
|
||||
|
||||
* Camoscio-ITA
|
||||
* DACMini Refined
|
||||
* High-quality synthetic Italian conversations
|
||||
|
||||
### Strategy
|
||||
|
||||
* Limited but high-density dataset (~20k samples)
|
||||
* Noise minimization
|
||||
* Focus on clarity and coherence
|
||||
* Reduction of generic 3B-style responses
|
||||
|
||||
---
|
||||
|
||||
# 🚀 Core Capabilities
|
||||
|
||||
DAC5-3B excels at:
|
||||
|
||||
* Technical explanations
|
||||
* Structured writing
|
||||
* Intermediate-level programming
|
||||
* IT ↔ EN translation
|
||||
* Project brainstorming
|
||||
* Offline local assistants
|
||||
* Study support
|
||||
|
||||
---
|
||||
|
||||
# 📊 Differences from Previous DAC Versions
|
||||
|
||||
✔ Greater stability in long responses
|
||||
✔ Fewer repetitions
|
||||
✔ Better tone control
|
||||
✔ More direct answers
|
||||
✔ Improved instruction alignment
|
||||
|
||||
DAC5 represents the highest point reached so far in the series.
|
||||
|
||||
---
|
||||
|
||||
# ⚠️ Limitations
|
||||
|
||||
* Effective training context: 1024 tokens
|
||||
* Not optimized for advanced tool calling
|
||||
* Not specialized in advanced mathematics
|
||||
* May degrade in very deep multi-step reasoning
|
||||
* Experimental model
|
||||
|
||||
---
|
||||
|
||||
# 💻 Hardware Requirements
|
||||
|
||||
### Recommended Inference
|
||||
|
||||
* 6–8GB VRAM GPU (quantized)
|
||||
* Or modern CPU with GGUF
|
||||
|
||||
Compatible with:
|
||||
|
||||
* Consumer PCs
|
||||
* Mini workstations
|
||||
* Edge systems
|
||||
* Offline local setups
|
||||
|
||||
---
|
||||
|
||||
# 🔬 DAC Philosophy
|
||||
|
||||
The DAC series was created with the goal of:
|
||||
|
||||
> Pushing compact models to their limits, optimizing real quality instead of merely scaling parameters.
|
||||
|
||||
DAC5-3B is the most mature result of this philosophy:
|
||||
high quality on a 3B architecture with limited resources.
|
||||
|
||||
---
|
||||
|
||||
# 🧪 Model Status
|
||||
|
||||
🟡 **Experimental but stable**
|
||||
It is the best model in the DAC series to date, but remains part of an ongoing evolutionary cycle.
|
||||
|
||||
---
|
||||
|
||||
## 📚 Citation
|
||||
|
||||
If you use **Mattimax/DAC5-3B** in research work, projects, or publications, you may cite it as follows:
|
||||
|
||||
```bibtex
|
||||
@misc{mattimax_dac5_3b_2026,
|
||||
author = {Mattimax},
|
||||
title = {DAC5-3B: Fifth Iteration of the Dynamic Adaptive Core Series},
|
||||
year = {2026},
|
||||
publisher = {Hugging Face},
|
||||
organization = {MINC01},
|
||||
note = {Experimental Italian-specialized 3B language model},
|
||||
url = {https://huggingface.co/Mattimax/DAC5-3B}
|
||||
}
|
||||
```
|
||||
|
||||
Short textual citation:
|
||||
|
||||
> Mattimax. *DAC5-3B: Fifth Iteration of the Dynamic Adaptive Core Series*. 2026. MINC01 Research Lab.
|
||||
Reference in New Issue
Block a user