179 lines
6.1 KiB
Markdown
179 lines
6.1 KiB
Markdown
---
|
|
language:
|
|
- es
|
|
- en
|
|
license: mit
|
|
base_model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B
|
|
tags:
|
|
- fine-tuned
|
|
- legal
|
|
- audit
|
|
- forensic
|
|
- tax
|
|
- reasoning
|
|
- atlas
|
|
- amd
|
|
- rocm
|
|
- deepseek
|
|
- finance
|
|
- distilled
|
|
- multi-round
|
|
datasets:
|
|
- custom
|
|
pipeline_tag: text-generation
|
|
---
|
|
|
|
# ATLAS DeepSeek-R1 Finanzas — Razonamiento Forense Fiscal
|
|
|
|
> **Chain-of-thought destilado de un modelo de 671B parámetros. Afinado para pensar como un investigador fiscal.**
|
|
|
|
Fine-tune multi-ronda de **DeepSeek-R1-Distill-Llama-8B** para detección de anomalías financieras y auditoría fiscal forense en México y USA. Entrenado sobre **AMD Instinct MI300X** como parte del sistema **ATLAS** — AMD Hackathon 2025.
|
|
|
|
---
|
|
|
|
## Por qué DeepSeek-R1 es diferente
|
|
|
|
La mayoría de los LLMs aprenden a *responder*. DeepSeek-R1 aprendió a *razonar*.
|
|
|
|
El modelo base fue entrenado por DeepSeek mediante **reinforcement learning puro** — sin supervisión humana en el proceso de razonamiento — lo que produjo un modelo que naturalmente genera cadenas de pensamiento estructuradas antes de responder. Luego fue **destilado desde DeepSeek-R1 (671B parámetros)** hacia arquitectura Llama-8B, preservando esa capacidad de razonamiento en un modelo 83x más pequeño y eficiente.
|
|
|
|
En el contexto de auditoría forense, esto se traduce en:
|
|
- Hipótesis alternativas evaluadas explícitamente
|
|
- Evidencia ponderada antes de emitir veredicto
|
|
- Razonamiento auditable y reversible
|
|
- Conclusiones con trazabilidad argumental
|
|
|
|
---
|
|
|
|
## Historial de Entrenamiento
|
|
|
|
### Ronda 1 — Dominio Financiero (Rama: `main`)
|
|
```
|
|
Dataset: atlas_training_dataset_final.jsonl
|
|
Registros: 6,437 ejemplos financiero-legales MX/USA
|
|
Epochs: 3
|
|
Loss: 0.4829
|
|
Tiempo: ~36 minutos
|
|
Hardware: AMD MI300X (205GB VRAM)
|
|
```
|
|
Exposición amplia al dominio. Vocabulario fiscal, estructuras de casos, patrones de riesgo y normativa base MX/USA.
|
|
|
|
### Ronda 2 — Especialización Legal (Rama: `legal-v2`)
|
|
```
|
|
Dataset: atlas_audit_master_unified.jsonl
|
|
Registros: 3,502 casos legales de alta complejidad
|
|
Epochs: 3
|
|
Loss: ~0.020 (train) | ~0.025 (eval)
|
|
Tiempo: ~25 minutos
|
|
Hardware: AMD MI300X (205GB VRAM)
|
|
```
|
|
Refinamiento sobre casos de mayor especificidad normativa. Artículos concretos, procedimientos forenses, cruces MX/USA. **Convergencia en 25 minutos** gracias a la eficiencia de la arquitectura Llama destilada corriendo en MI300X bfloat16 nativo.
|
|
|
|
---
|
|
|
|
## Dominio de Conocimiento
|
|
|
|
**México — CFF / LISR:**
|
|
- Art. 69-B CFF — EFOS/EDOS: presunción, desvirtúo, efectos fiscales
|
|
- Art. 42 CFF — Facultades de comprobación SAT (Fr. I-X)
|
|
- Arts. 76, 81, 82 CFF — Infracciones graves y sanciones
|
|
- Art. 27 LISR — Requisitos de deducibilidad
|
|
- Art. 59-G LISR — Precios de transferencia y arm's length
|
|
- RMF RESICO 2025/2026 — Régimen de Confianza
|
|
|
|
**USA — IRS / IRM:**
|
|
- IRM 4.10 — Examination of Returns (Bank Deposits, Net Worth Methods)
|
|
- IRM 4.23 — Employment Tax / Worker Misclassification
|
|
- BSA/FBAR — FinCEN 114, structuring, smurfing patterns
|
|
- Common Law Test — Control de métodos y resultados
|
|
- Economic Reality Test — Integración económica
|
|
|
|
---
|
|
|
|
## Uso
|
|
|
|
```python
|
|
from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
import torch
|
|
|
|
model_id = "Rafaelcedav/atlas-finanzas-deepseek-r1-8b"
|
|
|
|
# Ronda 2 (recomendado — especialización legal)
|
|
tokenizer = AutoTokenizer.from_pretrained(model_id, revision="legal-v2")
|
|
model = AutoModelForCausalLM.from_pretrained(
|
|
model_id,
|
|
revision="legal-v2",
|
|
torch_dtype=torch.bfloat16,
|
|
attn_implementation="eager", # Requerido en ROCm
|
|
device_map="auto"
|
|
)
|
|
|
|
messages = [
|
|
{
|
|
"role": "system",
|
|
"content": "Eres ATLAS, auditor forense especializado en derecho fiscal MX/USA. Razona paso a paso. Identifica artículos específicos y construye argumentos auditables."
|
|
},
|
|
{
|
|
"role": "user",
|
|
"content": "Empleado con horario fijo, oficina asignada y herramientas del empleador, pero clasificado como contratista independiente. Sin retenciones de nómina. ¿Análisis completo?"
|
|
}
|
|
]
|
|
|
|
inputs = tokenizer.apply_chat_template(
|
|
messages, return_tensors="pt", add_generation_prompt=True
|
|
)
|
|
output = model.generate(
|
|
inputs, max_new_tokens=1024, temperature=0.1, do_sample=True
|
|
)
|
|
print(tokenizer.decode(output[0][inputs.shape[-1]:], skip_special_tokens=True))
|
|
```
|
|
|
|
---
|
|
|
|
## Rol en Pipeline ATLAS
|
|
|
|
```
|
|
[Vision · InternVL2-40B] ──► [Compliance · Motor 11434]
|
|
│
|
|
▼
|
|
┌───────────────────────────┐
|
|
│ DeepSeek-R1 · Motor 8000 │ ◄── Este modelo
|
|
│ │
|
|
│ Recibe hallazgos visión │
|
|
│ Razona sobre evidencia │
|
|
│ Descarta hipótesis │
|
|
│ Emite veredicto trazable │
|
|
└─────────────┬─────────────┘
|
|
│
|
|
▼
|
|
[Validator] ──► [Explainer]
|
|
```
|
|
|
|
---
|
|
|
|
## Ecosistema ATLAS
|
|
|
|
| Modelo | Rol | Params | Rondas | Eval Loss |
|
|
|--------|-----|--------|--------|-----------|
|
|
| [atlas-r2-qwen3-14b](https://huggingface.co/Rafaelcedav/atlas-r2-qwen3-14b) | Razonamiento principal | 14.7B | 2 | ~0.019 |
|
|
| **[atlas-finanzas-deepseek-r1-8b](https://huggingface.co/Rafaelcedav/atlas-finanzas-deepseek-r1-8b)** | **Análisis financiero forense** | **8.3B** | **2** | **~0.025** |
|
|
| [atlas-mistral-7b-legal](https://huggingface.co/Rafaelcedav/atlas-mistral-7b-legal) | Agente legal MX/USA | 7.2B | 1 | 0.0184 |
|
|
|
|
---
|
|
|
|
## Stack Técnico
|
|
|
|
```yaml
|
|
GPU: AMD Instinct MI300X VF
|
|
VRAM: 205.8 GB
|
|
PyTorch: 2.5.1+rocm6.2
|
|
Optimizer: adamw_torch
|
|
Attention: eager # SDPA → NaN en ROCm + bf16
|
|
Precision: bfloat16
|
|
Serving: vLLM (OpenAI-compat · Puerto 8000)
|
|
```
|
|
|
|
---
|
|
|
|
*Distilled from 671B. Trained on AMD. Built for forensic truth.*
|