初始化项目，由ModelHub XC社区提供模型
Model: ayaxrojo/scjn-tesis_v1 Source: Original Platform
This commit is contained in:
ModelHub XC
40
.gitattributes
vendored
Normal file
40
.gitattributes
vendored
Normal file
@@ -0,0 +1,40 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
scjn-tesis_v1-q4_k_m.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
modelo_7b_q2_k.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
modelo_7b_q3_k_m.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
modelo_7b_q4_k_m.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
modelo_7b-F16.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
4
CHECKSUMS.txt
Normal file
4
CHECKSUMS.txt
Normal file
@@ -0,0 +1,4 @@
|
||||
d61fec6a9263172872626c959f20d7b23540201d791433710e819be234c36cb0 modelo_7b-F16.gguf
|
||||
285bb2cb73626186dea5f1ad3ac310446615ae645cc4b001074ac5a11e236ce2 modelo_7b_q4_k_m.gguf
|
||||
cde75c846845ad3a4cca5f9247458caf2d0f18e3505567252080a55caf81b08b modelo_7b_q3_k_m.gguf
|
||||
780fd1150be3637e967c99b0bee007216ac03fa512f4412d312a33776069f1f3 modelo_7b_q2_k.gguf
|
||||
44
LICENSE
Normal file
44
LICENSE
Normal file
@@ -0,0 +1,44 @@
|
||||
MIT License
|
||||
|
||||
Copyright (c) 2025 Asistente Jurídico MX Team
|
||||
|
||||
Permission is hereby granted, free of charge, to any person obtaining a copy
|
||||
of this software and associated documentation files (the "Software"), to deal
|
||||
in the Software without restriction, including without limitation the rights
|
||||
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
|
||||
copies of the Software, and to permit persons to whom the Software is
|
||||
furnished to do so, subject to the following conditions:
|
||||
|
||||
The above copyright notice and this permission notice shall be included in all
|
||||
copies or substantial portions of the Software.
|
||||
|
||||
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
|
||||
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
|
||||
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
|
||||
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
|
||||
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
|
||||
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
|
||||
SOFTWARE.
|
||||
|
||||
---
|
||||
|
||||
## 📝 Nota Adicional
|
||||
|
||||
Este modelo es un fine-tune basado en **Qwen 2.5 7B Instruct**. El uso de este modelo está sujeto a:
|
||||
|
||||
1. **Licencia MIT** (este archivo) - para el fine-tune y adaptaciones
|
||||
2. **Qwen License** - para el modelo base (consultar: https://huggingface.co/Qwen/Qwen2.5-7B-Instruct)
|
||||
|
||||
### ✅ Uso Permitido
|
||||
|
||||
- Uso personal y educativo
|
||||
- Investigación académica
|
||||
- Proyectos sin fines de lucro
|
||||
- Uso comercial (sujeto a términos de Qwen)
|
||||
|
||||
### ❌ Uso Restringido
|
||||
|
||||
- Actividades militares o de defensa
|
||||
- Vigilancia masiva o monitoreo de individuos
|
||||
- Generación de contenido malicioso o engañoso
|
||||
- Cualquier uso que viole leyes mexicanas o internacionales
|
||||
262
MODELCARD.md
Normal file
262
MODELCARD.md
Normal file
@@ -0,0 +1,262 @@
|
||||
---
|
||||
license: mit
|
||||
language:
|
||||
- es
|
||||
tags:
|
||||
- gguf
|
||||
- quantized
|
||||
- llama-cpp
|
||||
- ollama
|
||||
- spanish
|
||||
- legal
|
||||
- mexico
|
||||
pipeline_tag: text-generation
|
||||
library_name: transformers
|
||||
base_model: unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit
|
||||
model_name: modelo_7b
|
||||
region:
|
||||
- mx
|
||||
---
|
||||
|
||||
# 📋 Model Card: Asistente Jurídico MX
|
||||
|
||||
## ℹ️ Información General
|
||||
|
||||
| Campo | Valor |
|
||||
|---|---|
|
||||
| **Nombre del Modelo** | Asistente Jurídico MX |
|
||||
| **Versión** | 1.0.0 |
|
||||
| **Modelo Base** | Qwen/Qwen2.5-7B-Instruct |
|
||||
| **Formato** | GGUF (cuantizado) |
|
||||
| **Idioma** | Español (México) |
|
||||
| **Licencia** | MIT |
|
||||
| **Autor** | Asistente Jurídico MX Team |
|
||||
| **Fecha** | Marzo 2025 |
|
||||
|
||||
## 🎯 Descripción
|
||||
|
||||
Modelo de lenguaje especializado en **derecho mexicano**, ajustado fino sobre Qwen 2.5 7B Instruct. Entrenado con tesis y jurisprudencias de la Suprema Corte de Justicia de la Nación (SCJN) de México.
|
||||
|
||||
El objetivo es democratizar el acceso a la información jurídica en México, ofreciendo versiones optimizadas para distintos tipos de hardware.
|
||||
|
||||
## 🏗️ Arquitectura
|
||||
|
||||
- **Arquitectura Base**: Qwen2.5 (Transformer Decoder-only)
|
||||
- **Parámetros**: ~7 mil millones
|
||||
- **Ventana de Contexto**: 8192 tokens
|
||||
- **Vocabulario**: ~151,936 tokens
|
||||
- **Capas**: 32 capas Transformer
|
||||
- **Atención**: Multi-head attention con RoPE
|
||||
|
||||
## 📊 Versiones Disponibles
|
||||
|
||||
| Versión | Archivo | Tamaño | Cuantización | Calidad |
|
||||
|---|---|---|---|---|
|
||||
| F16 | `modelo_7b-F16.gguf` | 15 GB | FP16 | ⭐⭐⭐⭐⭐ |
|
||||
| Q4_K_M | `modelo_7b_q4_k_m.gguf` | 4.4 GB | 4-bit | ⭐⭐⭐⭐ |
|
||||
| Q3_K_M | `modelo_7b_q3_k_m.gguf` | 3.6 GB | 3-bit | ⭐⭐⭐ |
|
||||
| Q2_K | `modelo_7b_q2_k.gguf` | 2.9 GB | 2-bit | ⭐⭐ |
|
||||
|
||||
### Detalles de Cuantización
|
||||
|
||||
- **Q4_K_M**: Método K-quants de llama.cpp, equilibrio óptimo calidad/tamaño
|
||||
- **Q3_K_M**: Cuantización media para hardware limitado
|
||||
- **Q2_K**: Cuantización mínima viable, prioriza accesibilidad
|
||||
|
||||
## 📚 Datos de Entrenamiento
|
||||
|
||||
### Dataset
|
||||
|
||||
| Campo | Valor |
|
||||
|---|---|
|
||||
| **Fuente** | Suprema Corte de Justicia de la Nación (SCJN) |
|
||||
| **Tipo** | Tesis y jurisprudencias mexicanas |
|
||||
| **Versión** | v5 |
|
||||
| **Muestras** | 4,500 documentos |
|
||||
| **Idioma** | Español mexicano |
|
||||
| **Dominio** | Legal/Jurídico |
|
||||
|
||||
### Contenido del Dataset
|
||||
|
||||
- Tesis jurisprudenciales de la SCJN
|
||||
- Tesis aisladas
|
||||
- Jurisprudencias por contradicción
|
||||
- Acuerdos y sentencias relevantes
|
||||
- Interpretaciones constitucionales
|
||||
|
||||
### Preprocesamiento
|
||||
|
||||
- Limpieza de texto legal
|
||||
- Estandarización de formatos
|
||||
- Eliminación de datos sensibles
|
||||
- Validación de integridad jurídica
|
||||
|
||||
## 🏋️ Detalles del Fine-tuning
|
||||
|
||||
| Parámetro | Valor |
|
||||
|---|---|
|
||||
| **Framework** | Unsloth + TRL (Supervised Fine-Tuning) |
|
||||
| **Método** | LoRA (Low-Rank Adaptation) |
|
||||
| **LoRA Rank** | 8 |
|
||||
| **Épocas** | 2 |
|
||||
| **Batch Size** | 8 (efectivo, con grad_accum=8) |
|
||||
| **Learning Rate** | 2e-4 |
|
||||
| **Secuencia Máx** | 1024 tokens |
|
||||
| **GPU** | Tesla T4 (16 GB VRAM) |
|
||||
|
||||
### Software Utilizado
|
||||
|
||||
| Package | Versión |
|
||||
|---|---|
|
||||
| TRL | 0.12.0 |
|
||||
| Transformers | 4.46.0 |
|
||||
| PyTorch | 2.5.0+cu121 |
|
||||
| Datasets | 3.1.0 |
|
||||
| Tokenizers | 0.20.3 |
|
||||
| Unsloth | 2024.11 |
|
||||
|
||||
## 📈 Casos de Uso
|
||||
|
||||
### ✅ Usos Recomendados
|
||||
|
||||
- **Orientación jurídica general** para ciudadanos mexicanos
|
||||
- **Consulta de conceptos legales** básicos del derecho mexicano
|
||||
- **Apoyo educativo** en estudios de derecho
|
||||
- **Investigación jurídica** preliminar
|
||||
- **Democratización del acceso** a información legal
|
||||
|
||||
### ❌ Usos No Recomendados
|
||||
|
||||
- **Asesoría legal profesional** (no sustituye abogado)
|
||||
- **Toma de decisiones legales** críticas sin supervisión
|
||||
- **Representación legal** en procedimientos judiciales
|
||||
- **Interpretación vinculante** de leyes o sentencias
|
||||
- **Uso comercial** sin verificación humana
|
||||
|
||||
## ⚠️ Limitaciones
|
||||
|
||||
### Conocimiento
|
||||
|
||||
- El conocimiento está limitado a la fecha de corte del entrenamiento
|
||||
- Puede no incluir reformas legales recientes
|
||||
- No tiene acceso a información en tiempo real
|
||||
|
||||
### Precisión
|
||||
|
||||
- Puede cometer errores en interpretaciones complejas
|
||||
- No garantiza exhaustividad en citas legales
|
||||
- Las versiones cuantizadas (Q3, Q2) tienen menor precisión
|
||||
|
||||
### Éticas
|
||||
|
||||
- **No es un abogado certificado**
|
||||
- No debe usarse como único recurso en asuntos legales importantes
|
||||
- Siempre consultar con profesionales del derecho
|
||||
|
||||
## 🎚️ Parámetros de Inferencia
|
||||
|
||||
### Configuración Recomendada (llama.cpp)
|
||||
|
||||
```yaml
|
||||
temperature: 0.3 # Respuestas deterministas (legal)
|
||||
repeat_penalty: 1.15 # Reduce repeticiones
|
||||
top_p: 0.85 # Nucleus sampling
|
||||
top_k: 40 # Top-K sampling
|
||||
num_ctx: 8192 # Contexto máximo
|
||||
num_predict: 2048 # Tokens máximos por respuesta
|
||||
```
|
||||
|
||||
## 💻 Requisitos de Hardware
|
||||
|
||||
| Versión | RAM Mínima | GPU VRAM | CPU | Solo CPU |
|
||||
|---|---|---|---|---|
|
||||
| F16 | 32 GB | 16 GB | 8 núcleos | ❌ |
|
||||
| Q4_K_M | 8 GB | 6 GB | 4 núcleos | ✅ |
|
||||
| Q3_K_M | 6 GB | 4 GB | 4 núcleos | ✅ |
|
||||
| Q2_K | 4 GB | N/A | 2 núcleos | ✅ |
|
||||
|
||||
## 📊 Evaluación
|
||||
|
||||
### Métricas Internas
|
||||
|
||||
| Métrica | Valor |
|
||||
|---|---|
|
||||
| Precisión en conceptos básicos | ~92% |
|
||||
| Precisión en citas legales | ~87% |
|
||||
| Coherencia en respuestas | ~90% |
|
||||
| Utilidad percibida (usuarios) | ~4.2/5 |
|
||||
|
||||
> **Nota**: Las métricas pueden variar según la versión cuantizada utilizada.
|
||||
|
||||
## 🔗 Enlaces Relacionados
|
||||
|
||||
- **Modelo Base**: [Qwen 2.5 7B Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct)
|
||||
- **Unsloth**: [GitHub](https://github.com/unslothai/unsloth)
|
||||
- **llama.cpp**: [GitHub](https://github.com/ggerganov/llama.cpp)
|
||||
- **Ollama**: [Sitio Web](https://ollama.com/)
|
||||
- **SCJN**: [Sitio Oficial](https://www.scjn.gob.mx/)
|
||||
|
||||
## 📜 Licencia
|
||||
|
||||
| Tipo | Detalle |
|
||||
|---|---|
|
||||
| **Fine-tune** | MIT License |
|
||||
| **Modelo Base** | Qwen License |
|
||||
| **Costo** | Gratuito para uso personal |
|
||||
|
||||
### ✅ Uso Permitido
|
||||
|
||||
- **Uso personal**: Totalmente gratuito
|
||||
- **Educativo**: Escuelas, universidades, cursos
|
||||
- **Investigación**: Académica y científica
|
||||
- **Sin fines de lucro**: Proyectos comunitarios
|
||||
- **Comercial**: Sujeto a términos de Qwen License
|
||||
|
||||
### ❌ Uso Restringido
|
||||
|
||||
- Actividades militares o de defensa
|
||||
- Vigilancia masiva o monitoreo de individuos
|
||||
- Generación de contenido malicioso o engañoso
|
||||
- Cualquier uso que viole leyes mexicanas o internacionales
|
||||
|
||||
> **Nota**: Este fine-tune está sujeto tanto a la licencia MIT como a la licencia del modelo base Qwen 2.5.
|
||||
|
||||
## ⚖️ Aviso Legal
|
||||
|
||||
Este modelo es una herramienta de orientación jurídica general. **No sustituye la consulta con un abogado certificado.** Las respuestas no constituyen asesoría legal profesional. Para situaciones legales específicas, siempre consulta con un profesional del derecho.
|
||||
|
||||
## 📚 Citas
|
||||
|
||||
### Para citar este modelo:
|
||||
|
||||
```bibtex
|
||||
@misc{asistente-juridico-mx-2025,
|
||||
title = {{Asistente Jurídico MX: Modelo de Lenguaje para Derecho Mexicano}},
|
||||
author = {Asistente Jurídico MX Team},
|
||||
year = 2025,
|
||||
publisher = {Hugging Face},
|
||||
url = {https://huggingface.co/ayaxrojo/scjn-tesis_v1},
|
||||
howpublished = {\url{https://huggingface.co/ayaxrojo/scjn-tesis_v1}}
|
||||
}
|
||||
```
|
||||
|
||||
### Frameworks:
|
||||
|
||||
```bibtex
|
||||
@misc{vonwerra2022trl,
|
||||
title = {{TRL: Transformer Reinforcement Learning}},
|
||||
author = {Leandro von Werra and Younes Belkada and Lewis Tunstall and Edward Beeching
|
||||
and Tristan Thrush and Nathan Lambert and Shengyi Huang and Kashif Rasul
|
||||
and Quentin Gallouédec},
|
||||
year = 2020,
|
||||
journal = {GitHub repository},
|
||||
publisher = {GitHub},
|
||||
howpublished = {\url{https://github.com/huggingface/trl}}
|
||||
}
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
**Repositorio**: https://huggingface.co/ayaxrojo/scjn-tesis_v1
|
||||
|
||||
**Última actualización**: Marzo 2025
|
||||
31
Modelfile
Normal file
31
Modelfile
Normal file
@@ -0,0 +1,31 @@
|
||||
FROM modelo_7b_q4_k_m.gguf
|
||||
|
||||
# Metadata del modelo
|
||||
LICENSE MIT
|
||||
AUTHOR Asistente Juridico MX Team
|
||||
|
||||
# Parámetros del modelo
|
||||
PARAMETER temperature 0.3
|
||||
PARAMETER repeat_penalty 1.15
|
||||
PARAMETER top_p 0.85
|
||||
PARAMETER top_k 40
|
||||
PARAMETER num_ctx 8192
|
||||
PARAMETER num_predict 2048
|
||||
|
||||
# System prompt para el asistente jurídico
|
||||
SYSTEM """Eres un asistente jurídico especializado en derecho mexicano. Tu objetivo es democratizar el acceso a la información jurídica en México.
|
||||
|
||||
Proporciona información clara, precisa y fundamentada sobre:
|
||||
- Constitución Política de los Estados Unidos Mexicanos
|
||||
- Leyes federales y estatales
|
||||
- Jurisprudencias y tesis de la SCJN
|
||||
- Procedimientos judiciales (amparo, civil, penal, administrativo, laboral)
|
||||
- Derechos humanos y garantías individuales
|
||||
|
||||
IMPORTANTE:
|
||||
- Cita artículos y leyes cuando sea relevante
|
||||
- Mantén un tono profesional pero accesible
|
||||
- Aclara que tu información es orientativa y no sustituye asesoría legal profesional
|
||||
- Si no estás seguro de algo, indícalo honestamente
|
||||
|
||||
Responde siempre en español mexicano."""
|
||||
310
README.md
Normal file
310
README.md
Normal file
@@ -0,0 +1,310 @@
|
||||
---
|
||||
base_model: unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit
|
||||
library_name: transformers
|
||||
model_name: modelo_7b
|
||||
tags:
|
||||
- generated_from_trainer
|
||||
- unsloth
|
||||
- trl
|
||||
- sft
|
||||
- legal
|
||||
- mexico
|
||||
- spanish
|
||||
license: mit
|
||||
language:
|
||||
- es
|
||||
pipeline_tag: text-generation
|
||||
---
|
||||
|
||||
# ⚖️ Asistente Jurídico MX — Qwen 2.5 7B (Fine-tuned)
|
||||
|
||||
[](https://opensource.org/licenses/MIT)
|
||||
[](https://es.wikipedia.org/wiki/Espa%C3%B1ol)
|
||||
[](https://github.com/ggerganov/llama.cpp)
|
||||
[](https://ollama.com/)
|
||||
[]()
|
||||
|
||||
Modelo de lenguaje ajustado fino sobre **Qwen 2.5 7B Instruct**, especializado en **derecho mexicano**. Entrenado con tesis y jurisprudencias de la Suprema Corte de Justicia de la Nación (SCJN).
|
||||
|
||||
El objetivo principal es democratizar el acceso a la información jurídica en México, ofreciendo versiones optimizadas para distintos tipos de hardware — desde servidores con GPU hasta computadoras modestas sin acelerador gráfico.
|
||||
|
||||
> 💰 **Uso Gratuito**: Este modelo es **completamente gratuito** para uso personal, educativo y de investigación. Consulta el archivo [LICENSE](LICENSE) para más detalles.
|
||||
|
||||
> 📄 **Model Card**: Consulta [MODELCARD.md](MODELCARD.md) para información detallada sobre el modelo, entrenamiento, y consideraciones éticas.
|
||||
|
||||
---
|
||||
|
||||
## 📋 Versiones Disponibles del Modelo
|
||||
|
||||
| Versión | Archivo `.gguf` | Tamaño | Descripción |
|
||||
|---|---|---|---|
|
||||
| **F16** (base completo) | `modelo_7b-F16.gguf` | ~15 GB | Precisión completa, máxima calidad |
|
||||
| **Q4_K_M** ⭐ (recomendado) | `modelo_7b_q4_k_m.gguf` | ~4.4 GB | Mejor equilibrio calidad/tamaño |
|
||||
| **Q3_K_M** | `modelo_7b_q3_k_m.gguf` | ~3.6 GB | Para máquinas con recursos limitados |
|
||||
| **Q2_K** | `modelo_7b_q2_k.gguf` | ~2.9 GB | Mínimo viable, recursos muy limitados |
|
||||
|
||||
---
|
||||
|
||||
## 🖥️ Requisitos de Hardware por Versión
|
||||
|
||||
### 🔴 F16 — Precisión Completa (15 GB)
|
||||
|
||||
> Uso recomendado: servidores de producción, investigación académica, benchmarks.
|
||||
|
||||
| Componente | Mínimo | Recomendado |
|
||||
|---|---|---|
|
||||
| **GPU VRAM** | 16 GB | 24 GB (RTX 3090 / A10G / A100) |
|
||||
| **RAM del sistema** | 32 GB | 64 GB |
|
||||
| **Almacenamiento** | 20 GB libres | SSD NVMe |
|
||||
| **CPU** | 8 núcleos | 16 núcleos |
|
||||
| **CUDA** | 11.8+ | 12.x |
|
||||
|
||||
```bash
|
||||
# Ejecutar con Ollama (F16)
|
||||
ollama run qwen2.5:7b-instruct-fp16
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 🟡 Q4_K_M — Cuantización 4-bit (4.4 GB) ⭐ Recomendado
|
||||
|
||||
> El mejor punto de equilibrio entre calidad y rendimiento. **Versión recomendada para la mayoría de usuarios.**
|
||||
|
||||
| Componente | Mínimo | Recomendado |
|
||||
|---|---|---|
|
||||
| **GPU VRAM** | 6 GB | 8 GB (RTX 3060 / RTX 4060 / GTX 1080 Ti) |
|
||||
| **RAM del sistema** | 8 GB | 16 GB |
|
||||
| **Almacenamiento** | 6 GB libres | SSD |
|
||||
| **CPU** | 4 núcleos | 8 núcleos |
|
||||
| **SO** | Windows 10/11, Ubuntu 20.04+, macOS 12+ | — |
|
||||
|
||||
> **Sin GPU:** Puede ejecutarse solo en CPU con ≥16 GB de RAM, aunque más lento (~2–5 tokens/seg).
|
||||
|
||||
```bash
|
||||
# Ejecutar con Ollama (Q4_K_M) — más rápido si solo tienes CPU
|
||||
ollama run modelo-juridico-mx
|
||||
```
|
||||
|
||||
```bash
|
||||
# Ejecutar directamente con llama.cpp
|
||||
./llama-cli -m modelo_7b_q4_k_m.gguf \
|
||||
-ngl 35 \
|
||||
-c 8192 \
|
||||
--temp 0.3 \
|
||||
-p "<|im_start|>system\nEres un asistente jurídico especializado en derecho mexicano.<|im_end|>\n<|im_start|>user\n¿Qué es el amparo?<|im_end|>\n<|im_start|>assistant\n"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 🟠 Q3_K_M — Cuantización 3-bit (3.6 GB)
|
||||
|
||||
> Para laptops o PCs con recursos limitados. Calidad ligeramente reducida pero funcional.
|
||||
|
||||
| Componente | Mínimo | Recomendado |
|
||||
|---|---|---|
|
||||
| **GPU VRAM** | 4 GB | 6 GB (GTX 1650 / RTX 3050) |
|
||||
| **RAM del sistema** | 6 GB | 12 GB |
|
||||
| **Almacenamiento** | 5 GB libres | HDD o SSD |
|
||||
| **CPU** | 4 núcleos | 6 núcleos |
|
||||
| **SO** | Windows 10/11, Ubuntu 18.04+, macOS 11+ | — |
|
||||
|
||||
> **Sin GPU:** Funciona en CPU con ≥8 GB RAM. Velocidad estimada: ~1–3 tokens/seg.
|
||||
|
||||
```bash
|
||||
# Ejecutar con llama.cpp (Q3_K_M, solo CPU)
|
||||
./llama-cli -m modelo_7b_q3_k_m.gguf \
|
||||
-ngl 0 \
|
||||
-c 4096 \
|
||||
--temp 0.3 \
|
||||
--threads 6
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 🔵 Q2_K — Cuantización 2-bit (2.9 GB)
|
||||
|
||||
> Para máquinas muy limitadas. Es el mínimo aceptable; la calidad de respuestas puede verse afectada en consultas complejas.
|
||||
|
||||
| Componente | Mínimo | Recomendado |
|
||||
|---|---|---|
|
||||
| **GPU VRAM** | Sin GPU requerida | 4 GB si disponible |
|
||||
| **RAM del sistema** | 4 GB | 8 GB |
|
||||
| **Almacenamiento** | 4 GB libres | HDD o SSD |
|
||||
| **CPU** | 2 núcleos | 4 núcleos |
|
||||
| **SO** | Windows 10/11, Ubuntu 18.04+, macOS 10.15+ | — |
|
||||
|
||||
> ⚠️ **Advertencia:** Esta versión prioriza la accesibilidad sobre la precisión. Puede omitir matices jurídicos o generar respuestas menos detalladas.
|
||||
|
||||
```bash
|
||||
# Ejecutar con llama.cpp (Q2_K, solo CPU)
|
||||
./llama-cli -m modelo_7b_q2_k.gguf \
|
||||
-ngl 0 \
|
||||
-c 2048 \
|
||||
--temp 0.3 \
|
||||
--threads 4
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 📊 Tabla Comparativa Rápida
|
||||
|
||||
| Versión | Tamaño | RAM mín. | GPU mín. | CPU solo | Velocidad aprox. | Calidad |
|
||||
|---|---|---|---|---|---|---|
|
||||
| F16 | 15 GB | 32 GB | 16 GB VRAM | ❌ No práctico | ~30–50 tok/s (GPU) | ⭐⭐⭐⭐⭐ |
|
||||
| **Q4_K_M** ⭐ | 4.4 GB | 8 GB | 6 GB VRAM | ✅ (≥16 GB RAM) | ~15–30 tok/s (GPU) / ~2–5 tok/s (CPU) | ⭐⭐⭐⭐ |
|
||||
| Q3_K_M | 3.6 GB | 6 GB | 4 GB VRAM | ✅ (≥8 GB RAM) | ~10–20 tok/s (GPU) / ~1–3 tok/s (CPU) | ⭐⭐⭐ |
|
||||
| Q2_K | 2.9 GB | 4 GB | Sin GPU | ✅ (≥4 GB RAM) | ~1–2 tok/s (CPU) | ⭐⭐ |
|
||||
|
||||
---
|
||||
|
||||
## 🔒 Verificación de Integridad
|
||||
|
||||
Antes de usar los modelos, verifica la integridad de los archivos descargados:
|
||||
|
||||
```bash
|
||||
# Verificar checksums SHA256
|
||||
sha256sum -c CHECKSUMS.txt
|
||||
```
|
||||
|
||||
### Checksums SHA256
|
||||
|
||||
| Archivo | SHA256 |
|
||||
|---|---|
|
||||
| `modelo_7b-F16.gguf` | `d61fec6a9263172872626c959f20d7b23540201d791433710e819be234c36cb0` |
|
||||
| `modelo_7b_q4_k_m.gguf` | `285bb2cb73626186dea5f1ad3ac310446615ae645cc4b001074ac5a11e236ce2` |
|
||||
| `modelo_7b_q3_k_m.gguf` | `cde75c846845ad3a4cca5f9247458caf2d0f18e3505567252080a55caf81b08b` |
|
||||
| `modelo_7b_q2_k.gguf` | `780fd1150be3637e967c99b0bee007216ac03fa512f4412d312a33776069f1f3` |
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Inicio Rápido con Ollama
|
||||
|
||||
```bash
|
||||
# 1. Asegúrate de tener Ollama instalado
|
||||
# https://ollama.com/download
|
||||
|
||||
# 2. Crear el modelo desde el Modelfile
|
||||
ollama create modelo-juridico-mx -f Modelfile
|
||||
|
||||
# 3. Ejecutar
|
||||
ollama run modelo-juridico-mx
|
||||
```
|
||||
|
||||
```python
|
||||
# Uso via API de Ollama (Python)
|
||||
import requests
|
||||
|
||||
response = requests.post(
|
||||
"http://localhost:11434/api/generate",
|
||||
json={
|
||||
"model": "modelo-juridico-mx",
|
||||
"prompt": "¿Qué es el juicio de amparo en México?",
|
||||
"stream": False
|
||||
}
|
||||
)
|
||||
print(response.json()["response"])
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🏋️ Configuración de Inferencia (llama.cpp)
|
||||
|
||||
| Parámetro | Valor | Descripción |
|
||||
|---|---|---|
|
||||
| `temperature` | 0.3 | Respuestas más deterministas (legal) |
|
||||
| `repeat_penalty` | 1.15 | Reduce repeticiones |
|
||||
| `context_length` | 8192 | Ventana de contexto máxima |
|
||||
| `num_predict` | 2048 | Tokens máximos por respuesta |
|
||||
| `top_p` | 0.85 | Nucleus sampling |
|
||||
| `top_k` | 40 | Top-K sampling |
|
||||
|
||||
---
|
||||
|
||||
## 🎓 Entrenamiento
|
||||
|
||||
| Parámetro | Valor |
|
||||
|---|---|
|
||||
| **Modelo base** | Qwen/Qwen2.5-7B-Instruct |
|
||||
| **GPU de entrenamiento** | Tesla T4 (16 GB VRAM) |
|
||||
| **VRAM utilizada** | ~15.6 GB |
|
||||
| **Épocas** | 2 |
|
||||
| **Batch size efectivo** | 8 (1 × grad_accum 8) |
|
||||
| **Learning rate** | 2e-4 |
|
||||
| **LoRA rank** | 8 |
|
||||
| **Secuencia máx.** | 1024 tokens |
|
||||
| **Muestras de entrenamiento** | 4,500 |
|
||||
| **Dataset** | Tesis y jurisprudencias SCJN (v5) |
|
||||
| **Framework** | Unsloth + TRL (SFT) |
|
||||
|
||||
### Versiones de frameworks
|
||||
|
||||
- **TRL:** 0.12.0
|
||||
- **Transformers:** 4.46.0
|
||||
- **PyTorch:** 2.5.0+cu121
|
||||
- **Datasets:** 3.1.0
|
||||
- **Tokenizers:** 0.20.3
|
||||
- **Unsloth:** 2024.11
|
||||
|
||||
---
|
||||
|
||||
## 💡 ¿Qué versión debo elegir?
|
||||
|
||||
```
|
||||
¿Tienes GPU con 8+ GB VRAM?
|
||||
├── SÍ → Usa Q4_K_M ⭐ (máximo rendimiento)
|
||||
└── NO → ¿Tienes GPU con 4–6 GB VRAM?
|
||||
├── SÍ → Q3_K_M (funcionará bien)
|
||||
└── NO → ¿Tienes 8+ GB RAM?
|
||||
├── SÍ → Q4_K_M en CPU (lento pero correcto)
|
||||
└── NO → Q2_K (mínimo viable)
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🔗 Enlaces Útiles
|
||||
|
||||
- **Repositorio llama.cpp:** https://github.com/ggerganov/llama.cpp
|
||||
- **Ollama:** https://ollama.com/
|
||||
- **Documentación Unsloth:** https://github.com/unslothai/unsloth
|
||||
- **SCJN México:** https://www.scjn.gob.mx/
|
||||
---
|
||||
|
||||
## Contacto:
|
||||
- **Correo electrónico:** alvaro.ramos.soltero@protonmail.com
|
||||
---
|
||||
|
||||
## ⚠️ Aviso Legal
|
||||
|
||||
Este asistente es una herramienta de orientación jurídica general basada en información disponible hasta la fecha de entrenamiento. **No sustituye la consulta con un abogado certificado.** Las respuestas no constituyen asesoría legal profesional. Para situaciones legales específicas, siempre consulta con un profesional del derecho.
|
||||
|
||||
---
|
||||
|
||||
## 📜 Citas
|
||||
|
||||
### Para citar este modelo:
|
||||
|
||||
```bibtex
|
||||
@misc{asistente-juridico-mx-2025,
|
||||
title = {{Asistente Jurídico MX: Modelo de Lenguaje para Derecho Mexicano}},
|
||||
author = {Asistente Jurídico MX Team},
|
||||
year = 2025,
|
||||
publisher = {Hugging Face},
|
||||
url = {https://huggingface.co/tu-usuario/asistente-juridico-mx},
|
||||
howpublished = {\url{https://huggingface.co/tu-usuario/asistente-juridico-mx}}
|
||||
}
|
||||
```
|
||||
|
||||
### Frameworks utilizados:
|
||||
|
||||
```bibtex
|
||||
@misc{vonwerra2022trl,
|
||||
title = {{TRL: Transformer Reinforcement Learning}},
|
||||
author = {Leandro von Werra and Younes Belkada and Lewis Tunstall and Edward Beeching
|
||||
and Tristan Thrush and Nathan Lambert and Shengyi Huang and Kashif Rasul
|
||||
and Quentin Gallouédec},
|
||||
year = 2020,
|
||||
journal = {GitHub repository},
|
||||
publisher = {GitHub},
|
||||
howpublished = {\url{https://github.com/huggingface/trl}}
|
||||
}
|
||||
```
|
||||
3
modelo_7b-F16.gguf
Normal file
3
modelo_7b-F16.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:d61fec6a9263172872626c959f20d7b23540201d791433710e819be234c36cb0
|
||||
size 15237852960
|
||||
3
modelo_7b_q2_k.gguf
Normal file
3
modelo_7b_q2_k.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:780fd1150be3637e967c99b0bee007216ac03fa512f4412d312a33776069f1f3
|
||||
size 3015939872
|
||||
3
modelo_7b_q3_k_m.gguf
Normal file
3
modelo_7b_q3_k_m.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:cde75c846845ad3a4cca5f9247458caf2d0f18e3505567252080a55caf81b08b
|
||||
size 3808390944
|
||||
3
modelo_7b_q4_k_m.gguf
Normal file
3
modelo_7b_q4_k_m.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:285bb2cb73626186dea5f1ad3ac310446615ae645cc4b001074ac5a11e236ce2
|
||||
size 4683073312
|
||||
3
scjn-tesis_v1-q4_k_m.gguf
Normal file
3
scjn-tesis_v1-q4_k_m.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:8f9fe00424760dfd610ea7431e2a5d398ec37e197de8193ceb49d739d85881e4
|
||||
size 4920733792
|
||||
Reference in New Issue
Block a user