初始化项目,由ModelHub XC社区提供模型

Model: IIC/RigoChat-7b-v2-GGUF
Source: Original Platform
This commit is contained in:
ModelHub XC
2026-07-21 13:20:10 +08:00
commit d70f574448
40 changed files with 682 additions and 0 deletions

70
.gitattributes vendored Normal file
View File

@@ -0,0 +1,70 @@
*.7z filter=lfs diff=lfs merge=lfs -text
*.arrow filter=lfs diff=lfs merge=lfs -text
*.bin filter=lfs diff=lfs merge=lfs -text
*.bz2 filter=lfs diff=lfs merge=lfs -text
*.ckpt filter=lfs diff=lfs merge=lfs -text
*.ftz filter=lfs diff=lfs merge=lfs -text
*.gz filter=lfs diff=lfs merge=lfs -text
*.h5 filter=lfs diff=lfs merge=lfs -text
*.joblib filter=lfs diff=lfs merge=lfs -text
*.lfs.* filter=lfs diff=lfs merge=lfs -text
*.mlmodel filter=lfs diff=lfs merge=lfs -text
*.model filter=lfs diff=lfs merge=lfs -text
*.msgpack filter=lfs diff=lfs merge=lfs -text
*.npy filter=lfs diff=lfs merge=lfs -text
*.npz filter=lfs diff=lfs merge=lfs -text
*.onnx filter=lfs diff=lfs merge=lfs -text
*.ot filter=lfs diff=lfs merge=lfs -text
*.parquet filter=lfs diff=lfs merge=lfs -text
*.pb filter=lfs diff=lfs merge=lfs -text
*.pickle filter=lfs diff=lfs merge=lfs -text
*.pkl filter=lfs diff=lfs merge=lfs -text
*.pt filter=lfs diff=lfs merge=lfs -text
*.pth filter=lfs diff=lfs merge=lfs -text
*.rar filter=lfs diff=lfs merge=lfs -text
*.safetensors filter=lfs diff=lfs merge=lfs -text
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
*.tar.* filter=lfs diff=lfs merge=lfs -text
*.tar filter=lfs diff=lfs merge=lfs -text
*.tflite filter=lfs diff=lfs merge=lfs -text
*.tgz filter=lfs diff=lfs merge=lfs -text
*.wasm filter=lfs diff=lfs merge=lfs -text
*.xz filter=lfs diff=lfs merge=lfs -text
*.zip filter=lfs diff=lfs merge=lfs -text
*.zst filter=lfs diff=lfs merge=lfs -text
*tfevents* filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-fp16.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-q4_k_m.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ2_M.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-F16.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q4_0.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q4_1.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q5_0.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q5_1.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ2_XXS.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ2_XS.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ2_S.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ1_S.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ1_M.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-TQ1_0.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-TQ2_0.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q2_K.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q2_K_S.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ3_XXS.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ3_S.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ3_M.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q3_K.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ3_XS.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q3_K_S.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q3_K_M.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q3_K_L.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ4_NL.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-IQ4_XS.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q4_K_S.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q5_K_S.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q6_K.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q8_0.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q4_0_4_4.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q4_0_4_8.gguf filter=lfs diff=lfs merge=lfs -text
rigochat-7b-v2-Q4_0_8_8.gguf filter=lfs diff=lfs merge=lfs -text

199
LICENCIA Normal file
View File

@@ -0,0 +1,199 @@
ACUERDO DE LICENCIA NO COMERCIAL DE RIGOCHAT
Fecha de lanzamiento: 15-01-2025
Al utilizar o distribuir cualquier parte o elemento del Modelo de
lenguaje RigoChat (versión 2), Usted acepta estar sujeto a este Acuerdo,
reconociendo los presentes términos y condiciones.
1\. DEFINICIONES
1.1. Modelo: se refiere al Modelo de lenguaje RigoChat (versión 2),
propiedad de ADIC, puesto a disposición en virtud de este Acuerdo.
1.2. Licenciante: ADIC.
1.3. Acuerdo: significa este Acuerdo de Licencia.
1.4. Política de Uso Aceptable: El uso del Modelo está sujeto a la
Política de Uso Aceptable que se define a continuación. El licenciatario
se compromete a cumplirla y a no permitir que los usuarios y/o terceros
utilicen el Modelo para:
i\) violar o alentar la violación de los derechos fundamentales de
terceros;
ii\) dañar o lesionar a cualquier tipo de personas, y en particular, a
los menores o a grupos de personas consideradas vulnerables, en minoría
o protegidas;
iii\) cualquier propósito ilegal, invasivo, infractor, difamatorio o
fraudulento;
iv\) generar o difundir información falsa o información y/o contenido
con el propósito de dañar a otros;
v\) generar o difundir información de identificación personal que pueda
utilizarse para dañar a un individuo o grupo de individuos;
vi\) llevar a cabo una toma de decisiones totalmente automatizada que
impacte negativamente en los derechos de las personas;
vii\) participar, promover o fomentar actividades ilegales;
viii\) para distribuir intencionadamente virus, gusanos, troyanos,
archivos dañados, bulos u otros elementos de naturaleza destructiva o
engañosa;
ix\) interferir con el uso del Modelo con el fin de provocar un mal
funcionamiento del mismo;
x\) desactivar, interferir o eludir cualquier aspecto del Modelo;
xi\) utilizar el Modelo, para acceder a cualquier otro producto o
servicio de ADIC de una manera que viole los términos de servicio de
dicho otro producto o servicio de ADIC.
1.5. Trabajo(s) derivado(s): significa (a) cualquier trabajo derivado
del Modelo según lo reconocido por las leyes de propiedad intelectual e
industrial españolas y europeas y (b) cualquier modificación del Modelo,
y cualquier otro modelo creado que se base en el Modelo o en el
resultado del Modelo o que derive de él. Para mayor claridad, los
Trabajos Derivados no incluyen el resultado de ningún Modelo.
1.6. Documentación: significa cualquier especificación, manual,
documentación y otra información escrita proporcionada por ADIC
relacionada con el Modelo.
1.7. Licenciatario: significa usted, su empleador o cualquier otra
persona o entidad (si usted está aceptando este Acuerdo en nombre de
dicha persona o entidad), mayor de edad requerida por las leyes, normas
o reglamentaciones aplicables para proporcionar el consentimiento legal
y que tiene autoridad legal para vincular a su empleador o a dicha otra
persona o entidad si usted está aceptando este Acuerdo en su nombre.
1.8. Usos no comerciales: significa ejercer cualquiera de los derechos
otorgados en este Acuerdo con fines de investigación y/o no comerciales.
Los usos no comerciales no incluyen ningún uso de producción y/o
comercial del Modelo ni de ningún trabajo derivado.
2\. CONCESIÓN DE LICENCIA
a\. Sujeto a su cumplimiento de este Acuerdo, la Política de Uso
Aceptable y la Documentación, ADIC le otorga una licencia no exclusiva,
mundial, intransferible, no sublicenciable, revocable, libre de regalías
y limitada bajo la propiedad intelectual de ADIC u otros derechos de
propiedad o controlados por ADIC incorporados en el Modelo para usar,
reproducir, distribuir y crear Trabajos derivados del Modelo, en cada
caso exclusivamente para usos de investigación y/o no comerciales.
b\. No puede utilizar el Modelo o los Trabajos derivados para permitir
que terceros utilicen el Modelo o los Trabajos derivados como parte de
su servicio alojado o a través de sus API, independientemente de si les
está añadiendo o no una funcionalidad adicional sustancial. La mera
distribución del Modelo o los Trabajos derivados para su descarga en
línea sin ofrecer ningún servicio relacionado no constituye una
infracción de este párrafo. Si desea utilizar el Modelo o cualquier
Trabajo derivado para uso comercial y/o de producción o desea poner el
Modelo o cualquier Trabajo derivado a disposición de terceros a través
de su servicio alojado o sus API, póngase en contacto con ADIC. En el
caso de utilizar el Modelo o cualquier Trabajo derivado para uso
comercial y/o de producción, los términos de esta licencia no serán de
aplicación, debiéndose aceptar y reconocer unos términos y condiciones
de licencia diferentes.
c\. Si distribuye o pone a disposición de un tercero el Modelo, o
cualquier Trabajo derivado del mismo, éstos permanecerán sujetos a este
Acuerdo y usted deberá (i) proporcionar una copia de este Acuerdo a
dicho tercero y (ii) conservar el siguiente aviso de atribución dentro
de un archivo de texto de "Aviso" distribuido como parte de dichas
copias: "*RigoChat (v2), modelo lenguaje propiedad de ADIC, se
distribuye bajo una licencia de investigación no comercial otorgada por
ADIC*”. Si usted crea un Trabajo derivado del Modelo, usted debe agregar
sus propios avisos de atribución al archivo de Aviso incluido con el
Modelo, siempre que indique claramente qué atribuciones se aplican al
Modelo y debe indicar en el archivo de Aviso que modificó el Modelo y
cómo lo modificó.
3\. EXCLUSIÓN DE GARANTÍA
A menos que la legislación aplicable lo exija, el Modelo y cualquier
resultado o producto del mismo se proporcionan "*tal cual*", sin
garantías de ningún tipo, ya sean expresas o implícitas, incluyendo, sin
limitación, cualquier garantía de título, no infracción, comerciabilidad
o idoneidad para un propósito particular. Usted es el único responsable
de determinar la idoneidad de usar o redistribuir el Modelo, los
trabajos derivados o cualquier resultado o producto y asume cualquier
riesgo asociado con su uso del Modelo, de los trabajos derivados y
cualquier resultado o producto.
4\. LIMITACIÓN DE RESPONSABILIDAD
En ningún caso ADIC será responsable bajo ninguna teoría de
responsabilidad, ya sea contractual, por dolo, negligencia,
incumplimiento culposo, responsabilidad por uso o funcional o por otros
motivos, que surjan de este Acuerdo, por cualquier pérdida de ganancias
o cualquier daño directo, indirecto, especial, consecuente, incidental o
punitivo, aunque ADIC haya sido advertida de la posibilidad de
cualquiera de los anteriores.
ADIC no responderá frente al Licenciatario por el uso del Modelo en
contravención de las condiciones y términos del presente Acuerdo.
5\. PROPIEDAD INTELECTUAL.
a\. No se otorgan licencias de marcas comerciales bajo este Acuerdo, y
en relación con el Modelo o los Trabajos derivados, ni ADIC ni el
Licenciatario pueden usar ningún nombre o marca de propiedad de o
asociada con el otro, excepto según sea necesario para el uso razonable
y habitual al describir y redistribuir el Modelo o los Trabajos
derivados.
b\. Todos los derechos, títulos e intereses en y para el Modelo,
incluidos todos los derechos de propiedad intelectual, son y seguirán
siendo propiedad exclusiva de ADIC.
c\. Sujeto a la propiedad de ADIC del Modelo y de los Trabajos Derivados
realizados por o para ADIC, con respecto a cualquier Trabajo Derivado
realizado por usted, entre usted y ADIC, usted es y será el propietario
de dichos Trabajos Derivados. Del mismo modo, cualquier Trabajo
Derivado, aunque no tenga el encargo de ADIC, será de su propiedad.
d\. Si inicia un litigio u otro procedimiento contra ADIC (incluida una
reconvención en una demanda) alegando que el Modelo, los Trabajos
derivados o los resultados o productos asociados, o cualquier parte de
los anteriores, constituyen una infracción de la propiedad intelectual u
otros derechos de su propiedad o licenciables por usted, entonces
cualquier licencia otorgada a usted en virtud de este Acuerdo finalizará
a partir de la fecha en que se presente o inicie dicho litigio o
reclamación. Usted indemnizará y eximirá de responsabilidad a ADIC de
cualquier reclamación de terceros que surja de o esté relacionado con su
uso o distribución del Modelo o de los Trabajos derivados en violación
de este Acuerdo.
6\. DURACIÓN Y RESOLUCIÓN
La duración de este Acuerdo comenzará a regir a partir del momento en
que usted acepte este Acuerdo o acceda al Modelo y continuará en plena
vigencia y efecto hasta que se resuelva de conformidad con los términos
y condiciones aquí establecidos.
Este Acuerdo se resolverá automáticamente si el Licenciatario incumple
cualquiera de los términos y condiciones del mismo. En caso de
resolución, el Licenciatario deberá dejar de usar el Modelo y eliminar
todas las copias del mismo en cualquier dispositivo en el que pudiera
estar alojado. Las cláusulas 3 a 5 seguirán vigentes tras la resolución
de este Acuerdo.
7\. DISPOSICIONES GENERALES
7.1. Ley Aplicable: Este Acuerdo se regirá e interpretará de acuerdo con
las leyes de España.
7.2. Acuerdo Completo: Este Acuerdo constituye el acuerdo completo entre
ADIC y el Licenciatario con respecto al uso del Modelo y reemplaza todos
los acuerdos y entendimientos previos, ya sean orales o escritos,
relacionados con el Modelo.
7.3. Modificaciones: Ninguna modificación de este Acuerdo será válida a
menos que sea por escrito y firmada por ADIC y el Licenciatario.

180
LICENSE Normal file
View File

@@ -0,0 +1,180 @@
RIGOCHAT NON-COMMERCIAL LICENSE AGREEMENT
Release Date: 15-01-2025
By using or distributing any portion or element of the RigoChat Language
Model (v2), you agree to be bound by this Agreement, acknowledging the
following terms and conditions.
1\. DEFINITIONS
1.1. Model: Refers to the RigoChat Language Model (v2), owned by ADIC,
made available under this Agreement.
1.2. Licensor: ADIC.
1.3. Agreement: Means this Non-Commercial License Agreement.
1.4. Acceptable Use Policy: Use of the Model is subject to the
Acceptable Use Policy defined below. The Licensee agrees to comply with
it and ensure that users and/or third parties do not use the Model to:
i\) violate or encourage the violation of fundamental rights of third
parties;
ii\) harm or injure any persons, particularly minors or groups of
vulnerable, minority, or protected individuals;
iii\) engage in any illegal, invasive, infringing, defamatory, or
fraudulent activities;
iv\) generate or disseminate false information or content intended to
harm others;
v\) generate or disseminate personally identifiable information that
could be used to harm an individual or group of individuals;
vi\) carry out fully automated decision-making that negatively impacts
individuals' rights;
vii\) engage in, promote, or encourage illegal activities;
viii\) deliberately distribute viruses, worms, trojans, corrupted files,
hoaxes, or other destructive or deceptive elements;
ix\) interfere with the use of the Model to cause malfunction;
x\) disable, interfere with, or circumvent any aspect of the Model;
xi\) use the Model to access any other ADIC product or service in a way
that violates the terms of service of such other ADIC product or
service.
1.5. Derivative Work(s): Means (a) any derivative work from the Model as
recognized by Spanish and European intellectual property laws, and (b)
any modifications of the Model and any other model created based on or
derived from the Model. For clarity, Derivative Works do not include the
output of any Model.
1.6. Documentation: Means any specifications, manuals, documentation, or
other written information provided by ADIC related to the Model.
1.7. Licensee: Means you, your employer, or any other person or entity
(if you are entering into this Agreement on such person or entity's
behalf), of the age required under applicable laws, rules or regulations
to provide legal consent and that has legal authority to bind your
employer or such other person or entity if you are entering in this
Agreement on their behalf.
1.8. Non-commercial Use: Means exercising any of the rights granted
under this Agreement for research and/or non-commercial purposes.
Non-commercial use does not include any production and/or commercial use
of the Model or any Derivative Work.
2\. LICENSE RIGHTS
a\. Subject to your compliance with this Agreement, the Acceptable Use
Policy, and the Documentation, ADIC grants you a non-exclusive,
worldwide, non-transferable, non-sublicensable, revocable, royalty-free,
and limited license under ADICs intellectual property rights or other
proprietary rights embodied in the Model to use, reproduce, distribute,
and create Derivative Works from the Model, in each case solely for
research and/or non-commercial uses.
b\. You may not use the Model or Derivative Works to enable third
parties to use the Model or Derivative Works as part of your hosted
service or via your APIs, regardless of whether you are adding
substantial additional functionality thereto or not. Merely distributing
the Model or Derivative Works for online download without offering any
related service is not a violation of this section. If you wish to use
the Model or any Derivative Work for commercial and/or production use or
make the Model or any Derivative Work available to third parties via
your hosted service or APIs, please contact ADIC. In case of using the
Model or any Derivative Work for commercial and/or production purposes,
the terms of this license will not apply, and different license terms
and conditions must be accepted and acknowledged.
c\. If you distribute or make the Model or any Derivative Work available
to a third party, such distribution or availability will remain subject
to this Agreement, and you must (i) provide a copy of this Agreement to
such third party and (ii) retain the following attribution notice in a
"Notice" text file distributed as part of such copies: "*RigoChat (v2)
is a language model owned by ADIC and is distributed under a
non-commercial research license granted by ADIC.*” If you create a
Derivative Work from the Model, you must add your own attribution
notices to the Notice file included with the Model, clearly indicating
which attributions apply to the Model, and you must state in the Notice
file that you changed the Model and describe how it was modified.
3\. WARRANTY DISCLAIMER
Unless required by applicable law, the Model and any output or results
therefrom are provided "as is" without warranties of any kind, either
express or implied, including, without limitation, any warranties of
title, non-infringement, merchantability, or fitness for a particular
purpose. You are solely responsible for determining the appropriateness
of using or redistributing the Model, Derivative Works, or any output or
results, and assume any risks associated with your use of the Model,
Derivative Works, and any output or results.
4\. LIMITATION OF LIABILITY
In no event will ADIC be liable under any theory of liability, whether
in contract, tort, negligence, products liability or otherwise, arising
out of this Agreement, for any lost profits or any direct, indirect,
special, consequential, incidental, or punitive damages, even if ADIC
has been advised of the possibility of any of the foregoing. ADIC shall
not be liable to the Licensee for any use of the Model in violation of
the terms and conditions of this Agreement.
5\. INTELLECTUAL PROPERTY
a\. No trademark licenses are granted under this Agreement, and neither
ADIC nor the Licensee may use any name or mark owned by or associated
with the other except as required for reasonable and customary use in
describing and redistributing the Model or Derivative Works.
b\. All rights, title, and interest in and to the Model, including all
intellectual property rights, are and will remain the exclusive property
of ADIC.
c\. Subject to ADIC's ownership of the Model and Derivative Works
created by or for ADIC, regarding any Derivative Work created by you, as
between you and ADIC, you shall own such Derivative Works. Similarly,
any Derivative Work not commissioned by ADIC shall be owned by you.
d\. If you initiate litigation or other proceedings against ADIC
(including a counterclaim in a lawsuit) alleging that the Model,
Derivative Works, outputs, or associated products, or any part thereof,
infringe intellectual property rights or other rights you own or are
licensable by you, any license granted to you under this Agreement will
terminate as of the date such litigation or claim is filed or initiated.
You agree to indemnify and hold ADIC harmless from any third-party
claims arising out of or related to your use or distribution of the
Model or Derivative Works in violation of this Agreement.
6\. TERM AND TERMINATION
The term of this Agreement will commence upon your acceptance of this
Agreement or your access to the Model and will continue in full force
and effect until terminated in accordance with the terms and conditions
herein.
This Agreement will automatically terminate if the Licensee breaches any
of its terms and conditions. Upon termination, the Licensee must cease
using the Model and delete all copies of it from any device on which it
may reside. Clauses 3 to 5 shall survive the termination of this
Agreement.
7\. GENERAL PROVISIONS
7.1. Governing Law: This Agreement shall be governed by and construed in
accordance with the laws of Spain.
7.2. Entire Agreement: This Agreement constitutes the entire agreement
between ADIC and the Licensee regarding the use of the Model and
supersedes all prior agreements and understandings, whether oral or
written, relating to the Model.
7.3. Modifications: No modification to this Agreement shall be valid
unless in writing and signed by both ADIC and the Licensee.

131
README.md Normal file
View File

@@ -0,0 +1,131 @@
---
library_name: transformers
language:
- es
base_model:
- IIC/RigoChat-7b-v2
pipeline_tag: text-generation
license: other
license_name: rigochat-nc
license_link: https://huggingface.co/IIC/RigoChat-7b-v2-GGUF/blob/main/LICENSE
tags:
- chat
---
# Model Card for RigoChat-7b-v2-GGUF
<div style="display: flex; align-items: flex-start;">
<div style="flex: 1;">
## Introduction
This repo contains [IIC/RigoChat-7b-v2](https://huggingface.co/IIC/RigoChat-7b-v2) model in the GGUF Format, with the original weights and quantized to different precisions.
The [llama.cpp](https://github.com/ggerganov/llama.cpp) library has been used to transform the parameters into GGUF format, as well as to perform the quantizations. Specifically, the following command has been used to obtain the model in full precision:
</div>
<div style="margin-left: 20px;">
<img src="./images/RigoChat.jpg">
</div>
</div>
1. To download the weights:
```python
from huggingface_hub import snapshot_download
import os
model_id="IIC/RigoChat-7b-v2"
os.environ["MODEL_DIR"] = snapshot_download(
repo_id=model_id,
local_dir="model",
local_dir_use_symlinks=False,
revision="main",
)
```
2. To transform to `FP16`:
```shell
python ./llama.cpp/convert_hf_to_gguf.py $MODEL_DIR --outfile rigochat-7b-v2-F16.gguf --outtype f16
```
Nevertheless, you can download this weights [here](https://huggingface.co/IIC/RigoChat-7b-v2-GGUF/blob/main/rigochat-7b-v2-F16.gguf).
To quantize `rigochat-7b-v2-F16.gguf` into diferent sizes, first, we calculates an importance matrix as follows:
```shell
./llama.cpp/llama-imatrix -m ./rigochat-7b-v2-fp16.gguf -f train_data.txt -c 1024
```
where `train_data.txt` is an spanish raw-text dataset for calibration. This generates an `imatrix.dat` file that we can use to quantize the original model. For example, to get the `Q4_K_M` precision with this config, do:
```shell
./llama.cpp/llama-quantize --imatrix imatrix.dat ./rigochat-7b-v2-fp16.gguf ./quantize_models/rigochat-7b-v2-Q4_K_M.gguf Q4_K_M
```
and so on. Yo can do:
```shell
./llama.cpp/llama-quantize --help
```
to see all the quantization options. To check how imatrix works, [this example](https://github.com/ggerganov/llama.cpp/blob/master/examples/imatrix/README.md) can be usefull. For more information on the quantization types, see [this link](https://huggingface.co/docs/hub/gguf#quantization-types).
#### Disclaimer
The `train_data.txt` dataset is optional for most quantizations. We have used an experimental dataset to obtain all possible quantizations. However, we highly recommend downloading the weights in full precision: `rigochat-7b-v2-fp16.gguf` and trying to quantize the model with your own datasets, adapted to the use case you want to use.
## How to Get Started with the Model
You can do, for example
```shell
./llama.cpp/llama-cli -m ./rigochat-7b-v2-Q8_0.gguf -co -cnv -p "your system." -fa -ngl -1 -n 512
```
or
```shell
./llama.cpp/llama-server -m ./rigochat-7b-v2-Q8_0.gguf -co -cnv -p "your system." -fa -ngl -1 -n 512
```
## Evaluation
The evaluations are discussed in greater detail in the paper and the [official repository](https://huggingface.co/IIC/RigoChat-7b-v2). Here, we present only the graph illustrating how the model's performance improves as precision increases.
![](./images/quantization_results.png)
## Citation
```
@misc {instituto_de_ingeniería_del_conocimiento_2025,
author = { {Instituto de Ingeniería del Conocimiento} },
title = { RigoChat-7b-v2-GGUF },
year = 2025,
url = { https://huggingface.co/IIC/RigoChat-7b-v2-GGUF },
doi = { 10.57967/hf/4159 },
publisher = { Hugging Face }
}
```
```
@misc{gómez2025rigochat2adaptedlanguage,
title={RigoChat 2: an adapted language model to Spanish using a bounded dataset and reduced hardware},
author={Gonzalo Santamaría Gómez and Guillem García Subies and Pablo Gutiérrez Ruiz and Mario González Valero and Natàlia Fuertes and Helena Montoro Zamorano and Carmen Muñoz Sanz and Leire Rosado Plaza and Nuria Aldama García and David Betancur Sánchez and Kateryna Sushkova and Marta Guerrero Nieto and Álvaro Barbero Jiménez},
year={2025},
eprint={2503.08188},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2503.08188},
}
```
## Model Card Contact
- `contacto.iic@iic.uam.es`

BIN
images/RigoChat.jpg Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 12 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 163 KiB

3
rigochat-7b-v2-F16.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:a4053fde5e5c3aeed11f53bea397fb54809c9809f05be3595dcb003e6566f672
size 15237853568

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:f29d3c8684769d0db091648f986edbbf2969b4980bb9f46345b5cd2f2ff921c4
size 2042196576

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:472dee105c0718297c47b9aec422d36ba36a5ea50c883d3c05b04ca57433de25
size 1903667808

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:6cce5e705bf4da379561151b23725a9d49ccc7b9d27650550cb2b0cea4db7d3a
size 2780342880

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:ce0386adbcbd0a30f873b708b9f6058a932d855b2343feb14d833e33e36b4b9a
size 2595637856

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:e386c0c0892f8b6791928feaca57aefc69de1d390dcf6213e4c5401de7c1be0c
size 2469022304

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:ae7b951f28f891ad2161aeadf9821eb864a15fc9a2357134a14d2366fc670358
size 2273077856

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:1fe5fe040d5ddb2190c1a1f3c3696a81d1f03488e96ecc0790c03e4f73e45698
size 3574012512

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:354813ab5c42ef2d3b050e204232a8ae7f906f46827f16f526924ddb33163b65
size 3499192928

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:9d81ea578c748d8906252c36da8c8e7aa37f88754a5fce31e2517749c6c7cd52
size 3346256480

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:c9834f0d9003ee4ee549fd1a92ace9ed044205c3c50ecb055caa5b3ca400f2f4
size 3114515040

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:d53480da988da51ee3e638a55822247b10d606c93349d38136872f31684af8ab
size 4437813856

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:1ee07667e7bf43d00ebf674e9035bed9760b8089b6214f73db5bbb241b86e9cf
size 4218473056

3
rigochat-7b-v2-Q2_K.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:6c0dd5ffd7a6051df827fe292b9d587453620552bd9dbc8928b433b661a3cf18
size 3015940704

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:344616e637ff1f6c5a39ad474382bc4f430451a65ffa10c2e071cae32fbbbf04
size 2834074208

3
rigochat-7b-v2-Q3_K.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:d6012da556e5a4cfb94acdcb14d03a434320d6f4f73e2cf35904b7e6e50115b5
size 3808391776

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:fbb9036625e79c4ccf7c883ffa272e43dfd4fcf1400e50613948bff708fcac96
size 4088459872

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:d6012da556e5a4cfb94acdcb14d03a434320d6f4f73e2cf35904b7e6e50115b5
size 3808391776

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:6a5c64e45b9457eef742f65f229523b533f890597f1001d8da0aa4da5a1a0863
size 3492368992

3
rigochat-7b-v2-Q4_0.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:e162333fd2984d6477ce246631efb9025d4e9610c80d1010ab6337e067537070
size 4444121696

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:6ac13a4c616ce434da5a69ed49532669dbf8a4518aaa20ec688f57ae147bc60d
size 4431391328

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:5ea1c3415545eb5c2fc756fa5ee9668a90d5f9cce6a8d19ac7cfac0c3873b063
size 4431391328

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:e80bd59b2708283983c0a16ef9655046da40157cb1b5989cfd9336a32407b580
size 4431391328

3
rigochat-7b-v2-Q4_1.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:44332266d1f5c3548b466da5faef9b6844655f143a2f7fbfa6dcfd744be64221
size 4873284192

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:f0fb7ee3b1c228dd0cc5f5d2d87ec0bfcaf905daec2bb05c4415c7d350e7b0a6
size 4683074144

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:1c3f7fd31e5ba1dc75a95047affc3bcf2d69ef361b95481e64e3084aca30dba9
size 4457769568

3
rigochat-7b-v2-Q5_0.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:b7246fba3d2273108787b39544b1d99d5111c5a1defb239123bca8165ea1b3bf
size 5327907424

3
rigochat-7b-v2-Q5_1.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:f427a856cb123f120b735ce2f1b7921b79880466566d2d6ecdd31a0904d855c4
size 5757069920

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:7f3ec90b6cbfb9f1b6c56e170e4b85c7cf8b30d44ff423df1a9ee61d202c007a
size 5444831840

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:035a0c7c64ad975ddafe5b0b66e88bc98d2d69786d8205d074ada0b27f9f442e
size 5315177056

3
rigochat-7b-v2-Q6_K.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:fb6f46389885d1cd3a78bf27cd17111016a8e996c29b8e89f3fac5803563149e
size 6254199392

3
rigochat-7b-v2-Q8_0.gguf Normal file
View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:dda9d3e0cbd20138d75eb26bc352f81f285f30bc4fae1166f751648f382c8b95
size 8098525792

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:09954290436157e1b9cd5353a8fae84f33eb268a13da962881be5958d7229e09
size 2137344608

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:d269baf92d617f0e2ac97921a5ccae1ff614e6c969e7dd4f0e6be86df92d355b
size 2443217504