35 lines
1.2 KiB
Markdown
35 lines
1.2 KiB
Markdown
|
---
|
||
|
|
license: cc-by-nc-sa-4.0
|
||
|
|
datasets:
|
||
|
|
- somosnlp-hackathon-2026/patriae-cuba-literature-dataset
|
||
|
|
language:
|
||
|
|
- es
|
||
|
|
base_model:
|
||
|
|
- gia-uh/cecilia-2b-instruct-v1
|
||
|
|
---
|
||
|
|
|
||
|
|
## Fine-tuning:
|
||
|
|
Se utilizó el dataset somosnlp-hackathon-2026/patriae-cuba-literature-dataset para hacer fine-tuning del modelo gia-uh/cecilia-2b-instruct-v1.
|
||
|
|
|
||
|
|
## 📊 Resultados de Evaluación
|
||
|
|
| Categoría | Métrica | Resultado | Referencia |
|
||
|
|
|-----------|---------|-----------|------------|
|
||
|
|
| Razonamiento de Sentido Común | COPA-ES acc | 100.0 | 72.8 |
|
||
|
|
| Razonamiento de Sentido Común | XStoryCloze-ES acc | 0.0 | 64.7 |
|
||
|
|
| Inferencia de Lenguaje Natural (NLI) | WNLI-ES acc | 100.0 | 56.3 |
|
||
|
|
| Inferencia de Lenguaje Natural (NLI) | XNLI-ES acc | 100.0 | 44.7 |
|
||
|
|
| Preguntas y Respuestas (QA) | OpenBookQA-ES acc | 100.0 | 31.4 |
|
||
|
|
| Preguntas y Respuestas (QA) | XQuAD-ES acc | 90.0 | 57.6 |
|
||
|
|
| Traducción | FLORES-ES bleu | 7.8 | 20.1 |
|
||
|
|
|
||
|
|
**Perplejidad**:
|
||
|
|
|
||
|
|
Modelo base: 49.98
|
||
|
|
Modelo fine-tuneado: 35.11
|
||
|
|
Mejora: 29.8%
|
||
|
|
|
||
|
|
## Participantes del equipo Patriae en SomosNLP 2026:
|
||
|
|
* **Carlos Luis Barnés Infante (https://huggingface.co/blacknoize404)**
|
||
|
|
* **Yisel Clavel Quintero (https://huggingface.co/clavel)**
|
||
|
|
* **Dionis Lopez (https://huggingface.co/inoid)**
|