license, datasets, language, base_model
| license |
datasets |
language |
base_model |
| cc-by-nc-sa-4.0 |
| somosnlp-hackathon-2026/patriae-cuba-literature-dataset |
|
|
| gia-uh/cecilia-2b-instruct-v1 |
|
Fine-tuning:
Se utilizó el dataset somosnlp-hackathon-2026/patriae-cuba-literature-dataset para hacer fine-tuning del modelo gia-uh/cecilia-2b-instruct-v1.
📊 Resultados de Evaluación
| Categoría |
Métrica |
Resultado |
Referencia |
| Razonamiento de Sentido Común |
COPA-ES acc |
100.0 |
72.8 |
| Razonamiento de Sentido Común |
XStoryCloze-ES acc |
0.0 |
64.7 |
| Inferencia de Lenguaje Natural (NLI) |
WNLI-ES acc |
100.0 |
56.3 |
| Inferencia de Lenguaje Natural (NLI) |
XNLI-ES acc |
100.0 |
44.7 |
| Preguntas y Respuestas (QA) |
OpenBookQA-ES acc |
100.0 |
31.4 |
| Preguntas y Respuestas (QA) |
XQuAD-ES acc |
90.0 |
57.6 |
| Traducción |
FLORES-ES bleu |
7.8 |
20.1 |
Perplejidad:
Modelo base: 49.98
Modelo fine-tuneado: 35.11
Mejora: 29.8%
Participantes del equipo Patriae en SomosNLP 2026: