263 lines
7.6 KiB
Markdown
263 lines
7.6 KiB
Markdown
---
|
||
license: mit
|
||
language:
|
||
- es
|
||
tags:
|
||
- gguf
|
||
- quantized
|
||
- llama-cpp
|
||
- ollama
|
||
- spanish
|
||
- legal
|
||
- mexico
|
||
pipeline_tag: text-generation
|
||
library_name: transformers
|
||
base_model: unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit
|
||
model_name: modelo_7b
|
||
region:
|
||
- mx
|
||
---
|
||
|
||
# 📋 Model Card: Asistente Jurídico MX
|
||
|
||
## ℹ️ Información General
|
||
|
||
| Campo | Valor |
|
||
|---|---|
|
||
| **Nombre del Modelo** | Asistente Jurídico MX |
|
||
| **Versión** | 1.0.0 |
|
||
| **Modelo Base** | Qwen/Qwen2.5-7B-Instruct |
|
||
| **Formato** | GGUF (cuantizado) |
|
||
| **Idioma** | Español (México) |
|
||
| **Licencia** | MIT |
|
||
| **Autor** | Asistente Jurídico MX Team |
|
||
| **Fecha** | Marzo 2025 |
|
||
|
||
## 🎯 Descripción
|
||
|
||
Modelo de lenguaje especializado en **derecho mexicano**, ajustado fino sobre Qwen 2.5 7B Instruct. Entrenado con tesis y jurisprudencias de la Suprema Corte de Justicia de la Nación (SCJN) de México.
|
||
|
||
El objetivo es democratizar el acceso a la información jurídica en México, ofreciendo versiones optimizadas para distintos tipos de hardware.
|
||
|
||
## 🏗️ Arquitectura
|
||
|
||
- **Arquitectura Base**: Qwen2.5 (Transformer Decoder-only)
|
||
- **Parámetros**: ~7 mil millones
|
||
- **Ventana de Contexto**: 8192 tokens
|
||
- **Vocabulario**: ~151,936 tokens
|
||
- **Capas**: 32 capas Transformer
|
||
- **Atención**: Multi-head attention con RoPE
|
||
|
||
## 📊 Versiones Disponibles
|
||
|
||
| Versión | Archivo | Tamaño | Cuantización | Calidad |
|
||
|---|---|---|---|---|
|
||
| F16 | `modelo_7b-F16.gguf` | 15 GB | FP16 | ⭐⭐⭐⭐⭐ |
|
||
| Q4_K_M | `modelo_7b_q4_k_m.gguf` | 4.4 GB | 4-bit | ⭐⭐⭐⭐ |
|
||
| Q3_K_M | `modelo_7b_q3_k_m.gguf` | 3.6 GB | 3-bit | ⭐⭐⭐ |
|
||
| Q2_K | `modelo_7b_q2_k.gguf` | 2.9 GB | 2-bit | ⭐⭐ |
|
||
|
||
### Detalles de Cuantización
|
||
|
||
- **Q4_K_M**: Método K-quants de llama.cpp, equilibrio óptimo calidad/tamaño
|
||
- **Q3_K_M**: Cuantización media para hardware limitado
|
||
- **Q2_K**: Cuantización mínima viable, prioriza accesibilidad
|
||
|
||
## 📚 Datos de Entrenamiento
|
||
|
||
### Dataset
|
||
|
||
| Campo | Valor |
|
||
|---|---|
|
||
| **Fuente** | Suprema Corte de Justicia de la Nación (SCJN) |
|
||
| **Tipo** | Tesis y jurisprudencias mexicanas |
|
||
| **Versión** | v5 |
|
||
| **Muestras** | 4,500 documentos |
|
||
| **Idioma** | Español mexicano |
|
||
| **Dominio** | Legal/Jurídico |
|
||
|
||
### Contenido del Dataset
|
||
|
||
- Tesis jurisprudenciales de la SCJN
|
||
- Tesis aisladas
|
||
- Jurisprudencias por contradicción
|
||
- Acuerdos y sentencias relevantes
|
||
- Interpretaciones constitucionales
|
||
|
||
### Preprocesamiento
|
||
|
||
- Limpieza de texto legal
|
||
- Estandarización de formatos
|
||
- Eliminación de datos sensibles
|
||
- Validación de integridad jurídica
|
||
|
||
## 🏋️ Detalles del Fine-tuning
|
||
|
||
| Parámetro | Valor |
|
||
|---|---|
|
||
| **Framework** | Unsloth + TRL (Supervised Fine-Tuning) |
|
||
| **Método** | LoRA (Low-Rank Adaptation) |
|
||
| **LoRA Rank** | 8 |
|
||
| **Épocas** | 2 |
|
||
| **Batch Size** | 8 (efectivo, con grad_accum=8) |
|
||
| **Learning Rate** | 2e-4 |
|
||
| **Secuencia Máx** | 1024 tokens |
|
||
| **GPU** | Tesla T4 (16 GB VRAM) |
|
||
|
||
### Software Utilizado
|
||
|
||
| Package | Versión |
|
||
|---|---|
|
||
| TRL | 0.12.0 |
|
||
| Transformers | 4.46.0 |
|
||
| PyTorch | 2.5.0+cu121 |
|
||
| Datasets | 3.1.0 |
|
||
| Tokenizers | 0.20.3 |
|
||
| Unsloth | 2024.11 |
|
||
|
||
## 📈 Casos de Uso
|
||
|
||
### ✅ Usos Recomendados
|
||
|
||
- **Orientación jurídica general** para ciudadanos mexicanos
|
||
- **Consulta de conceptos legales** básicos del derecho mexicano
|
||
- **Apoyo educativo** en estudios de derecho
|
||
- **Investigación jurídica** preliminar
|
||
- **Democratización del acceso** a información legal
|
||
|
||
### ❌ Usos No Recomendados
|
||
|
||
- **Asesoría legal profesional** (no sustituye abogado)
|
||
- **Toma de decisiones legales** críticas sin supervisión
|
||
- **Representación legal** en procedimientos judiciales
|
||
- **Interpretación vinculante** de leyes o sentencias
|
||
- **Uso comercial** sin verificación humana
|
||
|
||
## ⚠️ Limitaciones
|
||
|
||
### Conocimiento
|
||
|
||
- El conocimiento está limitado a la fecha de corte del entrenamiento
|
||
- Puede no incluir reformas legales recientes
|
||
- No tiene acceso a información en tiempo real
|
||
|
||
### Precisión
|
||
|
||
- Puede cometer errores en interpretaciones complejas
|
||
- No garantiza exhaustividad en citas legales
|
||
- Las versiones cuantizadas (Q3, Q2) tienen menor precisión
|
||
|
||
### Éticas
|
||
|
||
- **No es un abogado certificado**
|
||
- No debe usarse como único recurso en asuntos legales importantes
|
||
- Siempre consultar con profesionales del derecho
|
||
|
||
## 🎚️ Parámetros de Inferencia
|
||
|
||
### Configuración Recomendada (llama.cpp)
|
||
|
||
```yaml
|
||
temperature: 0.3 # Respuestas deterministas (legal)
|
||
repeat_penalty: 1.15 # Reduce repeticiones
|
||
top_p: 0.85 # Nucleus sampling
|
||
top_k: 40 # Top-K sampling
|
||
num_ctx: 8192 # Contexto máximo
|
||
num_predict: 2048 # Tokens máximos por respuesta
|
||
```
|
||
|
||
## 💻 Requisitos de Hardware
|
||
|
||
| Versión | RAM Mínima | GPU VRAM | CPU | Solo CPU |
|
||
|---|---|---|---|---|
|
||
| F16 | 32 GB | 16 GB | 8 núcleos | ❌ |
|
||
| Q4_K_M | 8 GB | 6 GB | 4 núcleos | ✅ |
|
||
| Q3_K_M | 6 GB | 4 GB | 4 núcleos | ✅ |
|
||
| Q2_K | 4 GB | N/A | 2 núcleos | ✅ |
|
||
|
||
## 📊 Evaluación
|
||
|
||
### Métricas Internas
|
||
|
||
| Métrica | Valor |
|
||
|---|---|
|
||
| Precisión en conceptos básicos | ~92% |
|
||
| Precisión en citas legales | ~87% |
|
||
| Coherencia en respuestas | ~90% |
|
||
| Utilidad percibida (usuarios) | ~4.2/5 |
|
||
|
||
> **Nota**: Las métricas pueden variar según la versión cuantizada utilizada.
|
||
|
||
## 🔗 Enlaces Relacionados
|
||
|
||
- **Modelo Base**: [Qwen 2.5 7B Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct)
|
||
- **Unsloth**: [GitHub](https://github.com/unslothai/unsloth)
|
||
- **llama.cpp**: [GitHub](https://github.com/ggerganov/llama.cpp)
|
||
- **Ollama**: [Sitio Web](https://ollama.com/)
|
||
- **SCJN**: [Sitio Oficial](https://www.scjn.gob.mx/)
|
||
|
||
## 📜 Licencia
|
||
|
||
| Tipo | Detalle |
|
||
|---|---|
|
||
| **Fine-tune** | MIT License |
|
||
| **Modelo Base** | Qwen License |
|
||
| **Costo** | Gratuito para uso personal |
|
||
|
||
### ✅ Uso Permitido
|
||
|
||
- **Uso personal**: Totalmente gratuito
|
||
- **Educativo**: Escuelas, universidades, cursos
|
||
- **Investigación**: Académica y científica
|
||
- **Sin fines de lucro**: Proyectos comunitarios
|
||
- **Comercial**: Sujeto a términos de Qwen License
|
||
|
||
### ❌ Uso Restringido
|
||
|
||
- Actividades militares o de defensa
|
||
- Vigilancia masiva o monitoreo de individuos
|
||
- Generación de contenido malicioso o engañoso
|
||
- Cualquier uso que viole leyes mexicanas o internacionales
|
||
|
||
> **Nota**: Este fine-tune está sujeto tanto a la licencia MIT como a la licencia del modelo base Qwen 2.5.
|
||
|
||
## ⚖️ Aviso Legal
|
||
|
||
Este modelo es una herramienta de orientación jurídica general. **No sustituye la consulta con un abogado certificado.** Las respuestas no constituyen asesoría legal profesional. Para situaciones legales específicas, siempre consulta con un profesional del derecho.
|
||
|
||
## 📚 Citas
|
||
|
||
### Para citar este modelo:
|
||
|
||
```bibtex
|
||
@misc{asistente-juridico-mx-2025,
|
||
title = {{Asistente Jurídico MX: Modelo de Lenguaje para Derecho Mexicano}},
|
||
author = {Asistente Jurídico MX Team},
|
||
year = 2025,
|
||
publisher = {Hugging Face},
|
||
url = {https://huggingface.co/ayaxrojo/scjn-tesis_v1},
|
||
howpublished = {\url{https://huggingface.co/ayaxrojo/scjn-tesis_v1}}
|
||
}
|
||
```
|
||
|
||
### Frameworks:
|
||
|
||
```bibtex
|
||
@misc{vonwerra2022trl,
|
||
title = {{TRL: Transformer Reinforcement Learning}},
|
||
author = {Leandro von Werra and Younes Belkada and Lewis Tunstall and Edward Beeching
|
||
and Tristan Thrush and Nathan Lambert and Shengyi Huang and Kashif Rasul
|
||
and Quentin Gallouédec},
|
||
year = 2020,
|
||
journal = {GitHub repository},
|
||
publisher = {GitHub},
|
||
howpublished = {\url{https://github.com/huggingface/trl}}
|
||
}
|
||
```
|
||
|
||
---
|
||
|
||
**Repositorio**: https://huggingface.co/ayaxrojo/scjn-tesis_v1
|
||
|
||
**Última actualización**: Marzo 2025
|