From 42f7a333600a9c0f935dea126513be97b70a972f Mon Sep 17 00:00:00 2001 From: ModelHub XC Date: Thu, 13 Aug 2026 22:37:17 +0800 Subject: [PATCH] =?UTF-8?q?=E5=88=9D=E5=A7=8B=E5=8C=96=E9=A1=B9=E7=9B=AE?= =?UTF-8?q?=EF=BC=8C=E7=94=B1ModelHub=20XC=E7=A4=BE=E5=8C=BA=E6=8F=90?= =?UTF-8?q?=E4=BE=9B=E6=A8=A1=E5=9E=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Model: MrMeOrYou/emma-4-GGUF Source: Original Platform --- .gitattributes | 59 +++++++++ README.md | 274 ++++++++++++++++++++++++++++++++++++++++++ emma-4-BF16.gguf | 3 + emma-4-F16.gguf | 3 + emma-4-F32.gguf | 3 + emma-4-IQ3_M.gguf | 3 + emma-4-IQ3_S.gguf | 3 + emma-4-IQ4_NL.gguf | 3 + emma-4-IQ4_XS.gguf | 3 + emma-4-MXFP4_MOE.gguf | 3 + emma-4-Q2_K.gguf | 3 + emma-4-Q3_K_L.gguf | 3 + emma-4-Q3_K_M.gguf | 3 + emma-4-Q3_K_S.gguf | 3 + emma-4-Q4_0.gguf | 3 + emma-4-Q4_1.gguf | 3 + emma-4-Q4_K_M.gguf | 3 + emma-4-Q4_K_S.gguf | 3 + emma-4-Q5_0.gguf | 3 + emma-4-Q5_1.gguf | 3 + emma-4-Q5_K_M.gguf | 3 + emma-4-Q5_K_S.gguf | 3 + emma-4-Q6_K.gguf | 3 + emma-4-Q8_0.gguf | 3 + emma-4-TQ1_0.gguf | 3 + emma-4-TQ2_0.gguf | 3 + 26 files changed, 405 insertions(+) create mode 100644 .gitattributes create mode 100644 README.md create mode 100644 emma-4-BF16.gguf create mode 100644 emma-4-F16.gguf create mode 100644 emma-4-F32.gguf create mode 100644 emma-4-IQ3_M.gguf create mode 100644 emma-4-IQ3_S.gguf create mode 100644 emma-4-IQ4_NL.gguf create mode 100644 emma-4-IQ4_XS.gguf create mode 100644 emma-4-MXFP4_MOE.gguf create mode 100644 emma-4-Q2_K.gguf create mode 100644 emma-4-Q3_K_L.gguf create mode 100644 emma-4-Q3_K_M.gguf create mode 100644 emma-4-Q3_K_S.gguf create mode 100644 emma-4-Q4_0.gguf create mode 100644 emma-4-Q4_1.gguf create mode 100644 emma-4-Q4_K_M.gguf create mode 100644 emma-4-Q4_K_S.gguf create mode 100644 emma-4-Q5_0.gguf create mode 100644 emma-4-Q5_1.gguf create mode 100644 emma-4-Q5_K_M.gguf create mode 100644 emma-4-Q5_K_S.gguf create mode 100644 emma-4-Q6_K.gguf create mode 100644 emma-4-Q8_0.gguf create mode 100644 emma-4-TQ1_0.gguf create mode 100644 emma-4-TQ2_0.gguf diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..f0205dd --- /dev/null +++ b/.gitattributes @@ -0,0 +1,59 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +emma-4-F32.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-BF16.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-F16.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-IQ3_M.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-IQ3_S.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-IQ4_NL.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-IQ4_XS.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-MXFP4_MOE.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q2_K.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q3_K_L.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q3_K_S.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q4_0.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q4_1.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q4_K_S.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q5_0.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q5_1.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q5_K_S.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q6_K.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-Q8_0.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-TQ1_0.gguf filter=lfs diff=lfs merge=lfs -text +emma-4-TQ2_0.gguf filter=lfs diff=lfs merge=lfs -text diff --git a/README.md b/README.md new file mode 100644 index 0000000..093ffd5 --- /dev/null +++ b/README.md @@ -0,0 +1,274 @@ +--- +license: openrail +base_model: sasitsar/emma-4 +base_model_relation: quantized +library_name: gguf +pipeline_tag: text-generation +language: + - it +authors: + - Egomnia S.p.A. +tags: + - gguf + - llama.cpp + - italian + - gpt + - text-generation + - enterprise + - lightweight + - swiGLU + - gqa +datasets: + - custom-mixture +--- + +# 🇮🇹 Emma-4 (GGUF) + +## Premessa + +Questo repository contiene una conversione **non ufficiale** in formato GGUF di Emma-4, realizzata con llama.cpp. + +Il modello originale **Emma-4** è stato sviluppato da **Egomnia S.p.A.**. Questo repository non è affiliato a Egomnia S.p.A. e non modifica l'autorialità del modello originale. + +### Provenienza dei pesi + +Questi **non sono i file originali pubblicati da Egomnia**: un repository ufficiale `egomnia/emma-4` non è disponibile pubblicamente su Hugging Face. I pesi sono stati recuperati da [`sasitsar/emma-4`](https://huggingface.co/sasitsar/emma-4), un reupload/archivio pubblico del checkpoint ONNX, e da lì convertiti in GGUF. + +Per questo motivo i metadata di questo repository indicano `sasitsar/emma-4` come modello base. L'autorialità e i diritti sul modello restano attribuiti a Egomnia S.p.A. secondo la licenza e il model card originali. + +## File disponibili + +Il file `emma-4-F32.gguf` è la conversione GGUF in F32 del modello originale. Le altre varianti sono state ricavate da questo file con `llama-quantize`, usando i tipi di quantizzazione supportati da llama.cpp. + +Sono disponibili: + +- `emma-4-F32.gguf` +- `emma-4-F16.gguf` +- `emma-4-BF16.gguf` +- `emma-4-Q8_0.gguf` +- `emma-4-Q6_K.gguf` +- `emma-4-Q5_K_M.gguf` +- `emma-4-Q5_K_S.gguf` +- `emma-4-Q5_1.gguf` +- `emma-4-Q5_0.gguf` +- `emma-4-Q4_K_M.gguf` +- `emma-4-Q4_K_S.gguf` +- `emma-4-Q4_1.gguf` +- `emma-4-Q4_0.gguf` +- `emma-4-IQ4_NL.gguf` +- `emma-4-IQ4_XS.gguf` +- `emma-4-Q3_K_L.gguf` +- `emma-4-Q3_K_M.gguf` +- `emma-4-Q3_K_S.gguf` +- `emma-4-IQ3_M.gguf` +- `emma-4-IQ3_S.gguf` +- `emma-4-Q2_K.gguf` +- `emma-4-TQ2_0.gguf` +- `emma-4-TQ1_0.gguf` +- `emma-4-MXFP4_MOE.gguf` + +Le quantizzazioni sono state generate a partire da `emma-4-F32.gguf` e sono riproducibili localmente con llama.cpp. Il file `emma-4-F32.gguf` è inoltre stato verificato rispetto al checkpoint ONNX originale: i tensori coincidono bit-per-bit (a meno della trasposizione e della permutazione RoPE) e la generazione greedy risulta identica a quella del runtime ONNX. + +## Esecuzione con llama.cpp + +### Chat interattiva + +```bash +llama-cli -m emma-4-F32.gguf --jinja -ngl 99 -c 2048 -cnv +``` + +### Prompt diretto + +```bash +llama-cli -m emma-4-F32.gguf --jinja -ngl 99 -c 2048 -st -p "Qual è la capitale d'Italia?" +``` + +`--jinja` applica il chat template incorporato nel GGUF. `-ngl 99` carica i layer in GPU, se disponibile; omettilo per usare solo la CPU. `-c 2048` imposta la context length massima del modello. + +## Adattamenti rispetto al checkpoint ONNX + +Per l'architettura `llama` di llama.cpp sono stati applicati due adattamenti: + +- RoPE: le proiezioni Q e K sono permutate dal layout half-split (GPT-NeoX) al layout interleaved (GPT-J), come per i modelli LLaMA. +- Chat template: il formato di istruzione Alpaca italiano usato nell'SFT è incorporato nel file (`tokenizer.chat_template`). + +## Formato del prompt + +```text +### Istruzione: ### Risposta: +``` + +Con `--jinja` il formato viene applicato automaticamente. Per il completamento grezzo, usa lo stesso formato su una sola riga. + +## Parametri di campionamento + +I repository ufficiali non specificano parametri di campionamento per l'inferenza, e nemmeno il checkpoint ONNX li contiene: un modello ONNX espone soltanto i logit, mentre `temperature`, `top-p` e `top-k` vengono applicati a valle dal codice di inferenza, non dal modello stesso. I valori seguenti sono quindi valori di riferimento generici, non prescritti da Egomnia, scelti per un compromesso ragionevole tra coerenza e varietà dell'output, e possono essere adattati liberamente al caso d'uso: + +- `temperature`: 0.7 +- `top-p`: 0.9 +- `top-k`: 40 + +I default di llama.cpp sono diversi, quindi per usare questi valori conviene impostarli manualmente, incluso `--min-p 0`. + +Il `--repeat-penalty` non va invece impostato: llama.cpp lo lascia già a `1.0`, cioè nessuna penalità di ripetizione, coerentemente con un percorso di inferenza ONNX che non applica alcuna penalità. + +```bash +llama-cli -m emma-4-F32.gguf --jinja -c 2048 -ngl 99 -cnv \ + --temp 0.7 --top-k 40 --top-p 0.9 --min-p 0 +``` + +Server OpenAI-compatibile: + +```bash +llama-server -m emma-4-F32.gguf --jinja -c 2048 -ngl 99 \ + --temp 0.7 --top-k 40 --top-p 0.9 --min-p 0 +``` + +Per un output deterministico e riproducibile usa `--temp 0` (greedy). + +## Nota sul tokenizer + +Il tokenizer SentencePiece originale normalizza i ritorni a capo (`nmt_nfkc`, `remove_extra_whitespaces`), mentre il tokenizer di llama.cpp non lo fa nello stesso modo. Per evitare differenze nella tokenizzazione usa `--jinja`, oppure, nei prompt grezzi, spazi singoli al posto dei caratteri di a capo. + +## Nota sul multi-turno + +Emma-4 è stato addestrato (SFT) principalmente su singoli turni istruzione/risposta. È quindi più affidabile a turno singolo. In conversazioni a più turni la qualità può calare e l'output dipende da come viene ricostruita la cronologia del contesto. + +Per risultati più fedeli conviene inviare una istruzione completa per ogni richiesta. + +--- + +## Informazioni sul modello originale + +Le informazioni seguenti derivano dal model card originale di Emma-4 (Egomnia S.p.A.), recuperato da [`sasitsar/emma-4`](https://huggingface.co/sasitsar/emma-4). È stato rimosso unicamente l'esempio di esecuzione con ONNX Runtime; il resto è lasciato invariato. + +## Overview + +**Emma-4** è un Large Language Model decoder-only sperimentale sviluppato da **Egomnia S.p.A.**, ottimizzato per lingua italiana e progettato per applicazioni leggere e piccole automazioni. + +Sito ufficiale: https://emma.egomnia.com + +Il modello è progettato per essere: +- efficiente +- veloce in inference +- utilizzabile su infrastrutture leggere o locali +- adatto a micro-imprese e workflow automatizzati + +Non è progettato per ragionamento avanzato o uso critico. + +## Architettura + +- Tipo: GPT decoder-only +- Transformer blocks: 24 +- Hidden size: 1.024 +- Attention heads: 16 query + 4 KV (GQA 4:1) +- Head dimension: 64 +- Feed-forward dimension: 2.752 (SwiGLU, ff_mult 8/3) +- Activation function: SwiGLU +- Normalization: RMSNorm +- Positional encoding: RoPE (theta 10.000) +- Dropout: 0.0 +- Embeddings: tied (token embedding = lm_head) + +## Contesto e vocabolario + +- Context length: 2.048 token +- Vocabulary size: 50.000 token +- Tokenizer: SentencePiece BPE con byte fallback + +## Dataset di training + +- Enciclopedico: 43,55% +- Codice: 23,65% +- Generalista: 20,71% +- Libri: 8,53% +- Colloquiale: 2,03% +- Politico: 1,54% + +## Alignment + +- Supervised Fine-Tuning (SFT) +- Direct Preference Optimization (DPO): disabilitato + +## Export e ottimizzazione + +- Framework originale: PyTorch +- Export: ONNX +- Opset: 18 +- Quantizzazione: INT8 +- Peso modello ONNX: 1,48 GB +- Peso quantizzato INT8: ~55 MB + +## Intended Use + +Emma-4 è progettato per: + +- NLP generalista in italiano + +## Utilizzo non consigliato + +- ragionamento complesso multi-step +- applicazioni medicali, legali o finanziarie critiche +- sistemi ad alta affidabilità +- analisi scientifica avanzata + +## Focus prestazionale + +Il modello è ottimizzato per: + +- inference veloce +- riduzione dei costi computazionali +- utilizzo enterprise leggero +- deployment su CPU o ambienti limitati + +## Limitazioni + +- capacità limitata su reasoning complesso +- possibili allucinazioni +- sensibilità a prompt lunghi o ambigui +- contesto limitato a 2.048 token + + +## Licenza + +Distribuito sotto licenza **OpenRAIL-M**, con eventuali vincoli derivati dalle licenze dei dataset utilizzati. +Questa licenza consente l’uso, la modifica e la distribuzione del modello anche in ambito commerciale, imponendo tuttavia restrizioni sull’utilizzo in scenari potenzialmente dannosi, illegali o non etici, secondo i principi di Responsible AI e nel rispetto delle eventuali restrizioni derivanti dalle licenze dei dataset utilizzati. +Si richiede esprezzamente di citare **Egomnia S.p.A.** come autore del modello in caso di utilizzo di quest'ultimo per prodotti, servizi, pubblicazioni o documentazione tecnica. + +## Autore + +Egomnia S.p.A. + +## Sito ufficiale + +https://emma.egomnia.com + +## Manifesto di Emma — LLM italiano per la sovranità tecnologica + +Per la sovranità tecnologica italiana + +Noi crediamo che l’intelligenza artificiale non sia soltanto una tecnologia, ma un’infrastruttura critica per il futuro economico, culturale e democratico di una nazione. + +Per troppo tempo, i modelli linguistici che plasmano informazione, lavoro e conoscenza sono stati sviluppati altrove, secondo logiche, valori e priorità non sempre allineate con il contesto italiano ed europeo. + +I nostri modelli nascono per cambiare questo paradigma. +Non è solo il lancio di un nuovo modello, ma una presa di posizione chiara: rilanciare un ecosistema italiano dell’intelligenza artificiale, capace di essere autonomo, competitivo e coerente con le esigenze del nostro Paese. + +La famiglia dei LLM "Emma" è anche il risultato di un lavoro costruito nel tempo. Il modello è stato addestrato utilizzando, in parte, dataset proprietari realizzati e custoditi per anni, mai ceduti a terzi. Un patrimonio informativo unico, che siamo convinti possa diventare nel tempo il nostro vero elemento distintivo rispetto ai grandi attori globali. + +Oggi non abbiamo la presunzione di competere con i nomi che guidano il settore: Emma rappresenta un primo passo, concreto ma ancora iniziale, all'interno di un percorso di crescita e innovazione che intendiamo sviluppare negli anni a venire. + +Questa non è solo innovazione tecnologica. +È una scelta di indipendenza. +È una visione industriale. + +È il nostro contributo. + +Dedicato a mia figlia, Emma. + +Matteo Achilli +Fondatore di Egomnia + +## Note + +Italian Light GPT: Emma-4 è un modello leggero, valido per piccoli chatbot aziendali e per automazioni leggere di supporto ai processi per micro imprese italiane. diff --git a/emma-4-BF16.gguf b/emma-4-BF16.gguf new file mode 100644 index 0000000..e64d2d5 --- /dev/null +++ b/emma-4-BF16.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:c96bcd6fa256a0db6f6f198b65c5a441d94a230c976bda06a091182b7d20e818 +size 737837536 diff --git a/emma-4-F16.gguf b/emma-4-F16.gguf new file mode 100644 index 0000000..a680fdf --- /dev/null +++ b/emma-4-F16.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:95d548f45956f686d1b78afea1cb9d5827ebf54fc1c4a6dca786331389fb00e4 +size 737837536 diff --git a/emma-4-F32.gguf b/emma-4-F32.gguf new file mode 100644 index 0000000..739b563 --- /dev/null +++ b/emma-4-F32.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:f92407bcd4e276f04867f721ce2cfd8fce6080cd940f010c0b1ef5c8e2b3dd3f +size 1474265536 diff --git a/emma-4-IQ3_M.gguf b/emma-4-IQ3_M.gguf new file mode 100644 index 0000000..c494edd --- /dev/null +++ b/emma-4-IQ3_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:ea2a700e9f843e5e5e29d50983d740cc220899609466699f431fb06376b34ba3 +size 193843680 diff --git a/emma-4-IQ3_S.gguf b/emma-4-IQ3_S.gguf new file mode 100644 index 0000000..0fa9b76 --- /dev/null +++ b/emma-4-IQ3_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:9aa7c6e607175e93ef3ab287a284b3eb976715d84dadbf4f43b16a983e79930e +size 189444576 diff --git a/emma-4-IQ4_NL.gguf b/emma-4-IQ4_NL.gguf new file mode 100644 index 0000000..04c59fe --- /dev/null +++ b/emma-4-IQ4_NL.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b7b1b548358e206d6888f82ce73c9e82f51ccfcbfd18be9bce786aea8340a80b +size 224101472 diff --git a/emma-4-IQ4_XS.gguf b/emma-4-IQ4_XS.gguf new file mode 100644 index 0000000..cd6e71f --- /dev/null +++ b/emma-4-IQ4_XS.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:99326b05083a91ae0dfd175450b01ccabc93cc961e43f9b6e838dac747732d7f +size 216504928 diff --git a/emma-4-MXFP4_MOE.gguf b/emma-4-MXFP4_MOE.gguf new file mode 100644 index 0000000..25a139c --- /dev/null +++ b/emma-4-MXFP4_MOE.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:a77e882a298165c0d8edc0c94fcdb55f643c76831d838e91a86800cc23b59bcf +size 392636896 diff --git a/emma-4-Q2_K.gguf b/emma-4-Q2_K.gguf new file mode 100644 index 0000000..0ae2f40 --- /dev/null +++ b/emma-4-Q2_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d9408b66023fa8a5f01435e27ef8a27fdee4c9d3b860e4d7f1bbfdc6022858e1 +size 167311712 diff --git a/emma-4-Q3_K_L.gguf b/emma-4-Q3_K_L.gguf new file mode 100644 index 0000000..0ad90b4 --- /dev/null +++ b/emma-4-Q3_K_L.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d9c19dc29b54106bab0c2829abb96332e3799082ea7ac8d977f6add028408170 +size 209400288 diff --git a/emma-4-Q3_K_M.gguf b/emma-4-Q3_K_M.gguf new file mode 100644 index 0000000..c7ade1c --- /dev/null +++ b/emma-4-Q3_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e9c93752414d05dea1ffd43afa5f8ba85f35c25003881220fdba1f1fd02fbb01 +size 201482720 diff --git a/emma-4-Q3_K_S.gguf b/emma-4-Q3_K_S.gguf new file mode 100644 index 0000000..01d96f6 --- /dev/null +++ b/emma-4-Q3_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:8a25de28b5d11f9ef8947650f959d6333e13ff981d16ab9a90a557c7a321d0af +size 188608992 diff --git a/emma-4-Q4_0.gguf b/emma-4-Q4_0.gguf new file mode 100644 index 0000000..0e22e8b --- /dev/null +++ b/emma-4-Q4_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:66f4afc475a4bb1d5104280c266a101101a91805fdebddfd72339d99d051652a +size 221729888 diff --git a/emma-4-Q4_1.gguf b/emma-4-Q4_1.gguf new file mode 100644 index 0000000..2fb1c1b --- /dev/null +++ b/emma-4-Q4_1.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:5247e15a6e0c721f27b73abaa545b5ff1ebf736f00f5d8872a48542b1beeecfb +size 241543264 diff --git a/emma-4-Q4_K_M.gguf b/emma-4-Q4_K_M.gguf new file mode 100644 index 0000000..17461d3 --- /dev/null +++ b/emma-4-Q4_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:31543381f74ea7140cae776e5719a1cebad8bd20c269049dcf86f3b6ad36b3ef +size 243676256 diff --git a/emma-4-Q4_K_S.gguf b/emma-4-Q4_K_S.gguf new file mode 100644 index 0000000..34ef919 --- /dev/null +++ b/emma-4-Q4_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:59357fea381056e1b1bdae4d57047c7e8908532168b9bcaefb77df9490287612 +size 230843488 diff --git a/emma-4-Q5_0.gguf b/emma-4-Q5_0.gguf new file mode 100644 index 0000000..ab41593 --- /dev/null +++ b/emma-4-Q5_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:04da07ad8e26ccf8d94b504575c911209c852dbc566ff060d1091d5b143a5f21 +size 261356640 diff --git a/emma-4-Q5_1.gguf b/emma-4-Q5_1.gguf new file mode 100644 index 0000000..9fc149c --- /dev/null +++ b/emma-4-Q5_1.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:448f8ede4f5b58041c9e44be5b04d29099a55e923f2a4acedb780717ceb24613 +size 281170016 diff --git a/emma-4-Q5_K_M.gguf b/emma-4-Q5_K_M.gguf new file mode 100644 index 0000000..0f6c091 --- /dev/null +++ b/emma-4-Q5_K_M.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d9f9634e59bb96a59fce11cf29f7bdca23100ecc0aafc47ce6978b004e651f59 +size 276569184 diff --git a/emma-4-Q5_K_S.gguf b/emma-4-Q5_K_S.gguf new file mode 100644 index 0000000..53611e3 --- /dev/null +++ b/emma-4-Q5_K_S.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:13237e9b95cd3503647ff6b4169041f23da2a9f432ba9a392eab8455cd2155f5 +size 265583712 diff --git a/emma-4-Q6_K.gguf b/emma-4-Q6_K.gguf new file mode 100644 index 0000000..3b69949 --- /dev/null +++ b/emma-4-Q6_K.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:2fbf93d4b76095402e93c313139f17416ac963c3794539e101262a2866843620 +size 319839968 diff --git a/emma-4-Q8_0.gguf b/emma-4-Q8_0.gguf new file mode 100644 index 0000000..22d7d52 --- /dev/null +++ b/emma-4-Q8_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:695cb281a9e29a5e6e9c70a91fcd654c80f7c08da8a4c4cf1c671859cf94f69d +size 392636896 diff --git a/emma-4-TQ1_0.gguf b/emma-4-TQ1_0.gguf new file mode 100644 index 0000000..b9ce02f --- /dev/null +++ b/emma-4-TQ1_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:7a8281f72050c479ec0caa4a3d468443f0d2bc2a44072c0817737952e8059e66 +size 152056928 diff --git a/emma-4-TQ2_0.gguf b/emma-4-TQ2_0.gguf new file mode 100644 index 0000000..c9e66c5 --- /dev/null +++ b/emma-4-TQ2_0.gguf @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6b509cfe93a465def188a38460f4fdb8e78734e7db6ece36d637193344198126 +size 161346656