atlas-r2-qwen3-14b/README.md

---
language:
- es
- en
license: apache-2.0
base_model: Qwen/Qwen3-14B
tags:
- fine-tuned
- legal
- audit
- forensic
- tax
- reasoning
- atlas
- amd
- rocm
- qwen3
- finance
- thinking
- multi-round
datasets:
- custom
pipeline_tag: text-generation
---

# ATLAS Qwen3-14B — Motor de Razonamiento Forense

> **14.7 mil millones de parámetros. Dos rondas de entrenamiento especializado. Un objetivo: pensar como el mejor auditor forense del mundo.**

Fine-tune multi-ronda de **Qwen3-14B** para detección de anomalías financieras y auditoría fiscal forense en México y USA. Entrenado íntegramente sobre **AMD Instinct MI300X** (205GB VRAM) como parte del sistema **ATLAS** — AMD Hackathon 2025.

---

## Historial de Entrenamiento

Este modelo no nació especializado. Fue construido en dos rondas de entrenamiento deliberadamente secuenciadas:

### Ronda 1 — Fundamentos (Rama: `main`)
```
Dataset:   atlas_training_dataset_final.jsonl
Registros: 6,437 ejemplos financiero-legales MX/USA
Epochs:    3
Loss:      0.2697
Tiempo:    71 minutos
Hardware:  AMD MI300X (205GB VRAM)
```
Primera exposición al dominio. El modelo aprende el vocabulario fiscal, los patrones de riesgo y la estructura argumentativa de un auditor. Establece la base de conocimiento.

### Ronda 2 — Especialización Legal (Rama: `legal-v2`)
```
Dataset:   atlas_audit_master_unified.jsonl
Registros: 3,502 casos legales de alta complejidad
Epochs:    3
Loss:      ~0.018 (train) | ~0.019 (eval)
Tiempo:    ~47 minutos
Hardware:  AMD MI300X (205GB VRAM)
```
Refinamiento sobre casos de mayor dificultad y especificidad normativa. El modelo profundiza en artículos específicos, cruces normativos MX/USA y construcción de argumentos forenses auditables. **Loss 15x mejor que Ronda 1.**

---

## ¿Por qué Qwen3-14B?

Qwen3-14B introduce **thinking mode** — la capacidad de razonar explícitamente antes de responder. En auditoría forense esto no es un lujo, es una necesidad:

```
<think>
Empresa reporta 50MDP en servicios de construcción con 1 empleado.
Ratio ingresos/empleado: inviable operativamente.
Domicilio: zona residencial → sin infraestructura industrial.
Patrón: EFOS clásico bajo Art. 69-B CFF, primer párrafo.
Procedimiento: verificación Art. 42 Fr. IX + solicitud documentación.
Riesgo estimado: ALTO. Requiere actuación inmediata.
</think>

RED FLAG CONFIRMADA — Art. 69-B CFF...
```

Un modelo que muestra su razonamiento es un modelo cuyos errores se pueden corregir. En contextos legales, eso es crítico.

---

## Dominio de Conocimiento

### México — Marco Normativo
| Área | Artículos |
|------|-----------|
| Operaciones Inexistentes (EFOS/EDOS) | Art. 69-B CFF |
| Facultades de Comprobación SAT | Art. 42 CFF |
| Infracciones y Sanciones | Arts. 76, 81, 82 CFF |
| Deducibilidad de Gastos | Art. 27 LISR |
| Precios de Transferencia | Art. 59-G LISR |
| RESICO Personas Físicas | Art. 140 LISR |
| Delitos Fiscales | Art. 108 CFF |

### USA — Internal Revenue Manual
| Área | Referencia |
|------|-----------|
| Examination of Returns | IRM 4.10 |
| Employment Tax / Worker Classification | IRM 4.23 |
| Anti-Money Laundering / FBAR | BSA, FinCEN 114 |
| International Examinations | IRM 4.61 |
| Bank Deposits Method | IRM 4.10.3 |

---

## Taxonomía de Razonamiento Forense

El modelo opera en 3 niveles de abstracción:

```
┌─────────────────────────────────────────────────────────┐
│  NIVEL 1: DETECCIÓN DE PATRONES                         │
│  • Incoherencia material (capacidad vs. ingresos)       │
│  • Incoherencia geográfica (domicilio vs. actividad)    │
│  • Facturación circular (A→B→C→A sin flujo real)        │
│  • Structuring / Smurfing (depósitos sub-$10K)          │
│  • Márgenes anómalos (precios de transferencia)         │
└────────────────────────┬────────────────────────────────┘
                         ▼
┌─────────────────────────────────────────────────────────┐
│  NIVEL 2: CRUCE NORMATIVO                               │
│  • Mapeo hallazgo → artículo específico                 │
│  • Jurisdicción aplicable (MX / USA / ambas)            │
│  • Procedimiento de verificación recomendado            │
│  • Carga de la prueba y estándares de evidencia         │
└────────────────────────┬────────────────────────────────┘
                         ▼
┌─────────────────────────────────────────────────────────┐
│  NIVEL 3: CONSTRUCCIÓN DE CASO                          │
│  • Síntesis de evidencia con trazabilidad               │
│  • Cuantificación de riesgo fiscal estimado             │
│  • Acciones correctivas priorizadas                     │
│  • Reporte ejecutivo auditable                          │
└─────────────────────────────────────────────────────────┘
```

---

## Uso

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Cargar Ronda 2 (especialización legal)
model_id = "Rafaelcedav/atlas-r2-qwen3-14b"

tokenizer = AutoTokenizer.from_pretrained(model_id, revision="legal-v2")
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    revision="legal-v2",
    torch_dtype=torch.bfloat16,
    attn_implementation="eager",   # Requerido en ROCm / AMD
    device_map="auto"
)

messages = [
    {
        "role": "system",
        "content": "Eres ATLAS, auditor forense senior especializado en derecho fiscal MX/USA. Activa thinking mode para casos complejos. Cita artículos específicos y construye argumentos auditables."
    },
    {
        "role": "user",
        "content": "/think\n\nDistribuidora MX vende a filial en paraíso fiscal a precio 40% menor que mercado. Sin benchmarking documentado. Ingresos declarados inconsistentes con flujos bancarios. ¿Análisis completo?"
    }
]

inputs = tokenizer.apply_chat_template(
    messages, return_tensors="pt", add_generation_prompt=True
)

output = model.generate(
    inputs,
    max_new_tokens=2048,
    temperature=0.6,    # Recomendado por Qwen3 para thinking mode
    top_p=0.95,
    do_sample=True
)

print(tokenizer.decode(output[0][inputs.shape[-1]:], skip_special_tokens=True))
```

---

## Rol en Pipeline ATLAS

```
PDF ──► [Vision · InternVL2-40B]
              │
              ▼
        [Compliance Router · Motor 11434]
              │
              ▼
┌─────────────────────────────────┐
│   Qwen3-14B  ·  Motor 8000     │  ◄── Este modelo
│                                 │
│   Recibe: campos extraídos      │
│   Cruza:  normativa aplicable   │
│   Genera: hipótesis de riesgo   │
│   Emite:  veredicto trazable    │
└────────────────┬────────────────┘
                 │
                 ▼
        [Validator · Integridad]
                 │
                 ▼
        [Explainer · Reporte PDF]
```

Sirve via **vLLM** con interfaz OpenAI-compatible en puerto 8000.

---

## Ecosistema ATLAS

| Modelo | Rol en Pipeline | Params | Eval Loss |
|--------|----------------|--------|-----------|
| **[atlas-r2-qwen3-14b](https://huggingface.co/Rafaelcedav/atlas-r2-qwen3-14b)** | **Razonamiento principal** | **14.7B** | **~0.019** |
| [atlas-finanzas-deepseek-r1-8b](https://huggingface.co/Rafaelcedav/atlas-finanzas-deepseek-r1-8b) | Análisis financiero profundo | 8.3B | 0.4829 |
| [atlas-mistral-7b-legal](https://huggingface.co/Rafaelcedav/atlas-mistral-7b-legal) | Agente legal MX/USA | 7.2B | **0.0184** |

---

## Stack Técnico

```yaml
GPU:          AMD Instinct MI300X VF
VRAM:         205.8 GB
OS:           Ubuntu 24.04 LTS
ROCm:         7.2
PyTorch:      2.5.1+rocm6.2
Transformers: 5.x
Optimizer:    adamw_torch          # Único estable en ROCm
Attention:    eager                # SDPA produce NaN en ROCm + bf16
Precision:    bfloat16             # Nativo en MI300X
Serving:      vLLM (OpenAI-compat)
```

---

*Two rounds. One mission. Built on AMD.*