初始化项目,由ModelHub XC社区提供模型
Model: rdrgzlng/salamandra-2b-instruct-GGUF Source: Original Platform
This commit is contained in:
34
README.md
Normal file
34
README.md
Normal file
@@ -0,0 +1,34 @@
|
||||
---
|
||||
license: apache-2.0
|
||||
base_model: BSC-LT/salamandra-2b-instruct
|
||||
language:
|
||||
- es
|
||||
- ca
|
||||
- en
|
||||
- pt
|
||||
library_name: llama.cpp
|
||||
tags:
|
||||
- gguf
|
||||
- llama.cpp
|
||||
- quantized
|
||||
- spanish
|
||||
---
|
||||
|
||||
# Salamandra 2B Instruct GGUF
|
||||
|
||||
Conversión propia de `BSC-LT/salamandra-2b-instruct` a GGUF para uso con `llama.cpp`.
|
||||
|
||||
## Archivos
|
||||
|
||||
- `salamandra-2b-instruct-fp16.gguf`
|
||||
- `salamandra-2b-instruct-Q4_K_M.gguf`
|
||||
|
||||
## Notas
|
||||
|
||||
El archivo `Q4_K_M` fue cuantizado con `llama.cpp`.
|
||||
Algunos tensores requirieron fallback automático a otros formatos de cuantización por restricciones de forma.
|
||||
|
||||
## Uso con llama.cpp
|
||||
|
||||
```bash
|
||||
./llama-cli -m salamandra-2b-instruct-Q4_K_M.gguf -cnv
|
||||
Reference in New Issue
Block a user