初始化项目,由ModelHub XC社区提供模型
Model: Rafaelcedav/atlas-finanzas-deepseek-r1-8b Source: Original Platform
This commit is contained in:
36
.gitattributes
vendored
Normal file
36
.gitattributes
vendored
Normal file
@@ -0,0 +1,36 @@
|
|||||||
|
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.model filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||||
|
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
||||||
178
README.md
Normal file
178
README.md
Normal file
@@ -0,0 +1,178 @@
|
|||||||
|
---
|
||||||
|
language:
|
||||||
|
- es
|
||||||
|
- en
|
||||||
|
license: mit
|
||||||
|
base_model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B
|
||||||
|
tags:
|
||||||
|
- fine-tuned
|
||||||
|
- legal
|
||||||
|
- audit
|
||||||
|
- forensic
|
||||||
|
- tax
|
||||||
|
- reasoning
|
||||||
|
- atlas
|
||||||
|
- amd
|
||||||
|
- rocm
|
||||||
|
- deepseek
|
||||||
|
- finance
|
||||||
|
- distilled
|
||||||
|
- multi-round
|
||||||
|
datasets:
|
||||||
|
- custom
|
||||||
|
pipeline_tag: text-generation
|
||||||
|
---
|
||||||
|
|
||||||
|
# ATLAS DeepSeek-R1 Finanzas — Razonamiento Forense Fiscal
|
||||||
|
|
||||||
|
> **Chain-of-thought destilado de un modelo de 671B parámetros. Afinado para pensar como un investigador fiscal.**
|
||||||
|
|
||||||
|
Fine-tune multi-ronda de **DeepSeek-R1-Distill-Llama-8B** para detección de anomalías financieras y auditoría fiscal forense en México y USA. Entrenado sobre **AMD Instinct MI300X** como parte del sistema **ATLAS** — AMD Hackathon 2025.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Por qué DeepSeek-R1 es diferente
|
||||||
|
|
||||||
|
La mayoría de los LLMs aprenden a *responder*. DeepSeek-R1 aprendió a *razonar*.
|
||||||
|
|
||||||
|
El modelo base fue entrenado por DeepSeek mediante **reinforcement learning puro** — sin supervisión humana en el proceso de razonamiento — lo que produjo un modelo que naturalmente genera cadenas de pensamiento estructuradas antes de responder. Luego fue **destilado desde DeepSeek-R1 (671B parámetros)** hacia arquitectura Llama-8B, preservando esa capacidad de razonamiento en un modelo 83x más pequeño y eficiente.
|
||||||
|
|
||||||
|
En el contexto de auditoría forense, esto se traduce en:
|
||||||
|
- Hipótesis alternativas evaluadas explícitamente
|
||||||
|
- Evidencia ponderada antes de emitir veredicto
|
||||||
|
- Razonamiento auditable y reversible
|
||||||
|
- Conclusiones con trazabilidad argumental
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Historial de Entrenamiento
|
||||||
|
|
||||||
|
### Ronda 1 — Dominio Financiero (Rama: `main`)
|
||||||
|
```
|
||||||
|
Dataset: atlas_training_dataset_final.jsonl
|
||||||
|
Registros: 6,437 ejemplos financiero-legales MX/USA
|
||||||
|
Epochs: 3
|
||||||
|
Loss: 0.4829
|
||||||
|
Tiempo: ~36 minutos
|
||||||
|
Hardware: AMD MI300X (205GB VRAM)
|
||||||
|
```
|
||||||
|
Exposición amplia al dominio. Vocabulario fiscal, estructuras de casos, patrones de riesgo y normativa base MX/USA.
|
||||||
|
|
||||||
|
### Ronda 2 — Especialización Legal (Rama: `legal-v2`)
|
||||||
|
```
|
||||||
|
Dataset: atlas_audit_master_unified.jsonl
|
||||||
|
Registros: 3,502 casos legales de alta complejidad
|
||||||
|
Epochs: 3
|
||||||
|
Loss: ~0.020 (train) | ~0.025 (eval)
|
||||||
|
Tiempo: ~25 minutos
|
||||||
|
Hardware: AMD MI300X (205GB VRAM)
|
||||||
|
```
|
||||||
|
Refinamiento sobre casos de mayor especificidad normativa. Artículos concretos, procedimientos forenses, cruces MX/USA. **Convergencia en 25 minutos** gracias a la eficiencia de la arquitectura Llama destilada corriendo en MI300X bfloat16 nativo.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Dominio de Conocimiento
|
||||||
|
|
||||||
|
**México — CFF / LISR:**
|
||||||
|
- Art. 69-B CFF — EFOS/EDOS: presunción, desvirtúo, efectos fiscales
|
||||||
|
- Art. 42 CFF — Facultades de comprobación SAT (Fr. I-X)
|
||||||
|
- Arts. 76, 81, 82 CFF — Infracciones graves y sanciones
|
||||||
|
- Art. 27 LISR — Requisitos de deducibilidad
|
||||||
|
- Art. 59-G LISR — Precios de transferencia y arm's length
|
||||||
|
- RMF RESICO 2025/2026 — Régimen de Confianza
|
||||||
|
|
||||||
|
**USA — IRS / IRM:**
|
||||||
|
- IRM 4.10 — Examination of Returns (Bank Deposits, Net Worth Methods)
|
||||||
|
- IRM 4.23 — Employment Tax / Worker Misclassification
|
||||||
|
- BSA/FBAR — FinCEN 114, structuring, smurfing patterns
|
||||||
|
- Common Law Test — Control de métodos y resultados
|
||||||
|
- Economic Reality Test — Integración económica
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Uso
|
||||||
|
|
||||||
|
```python
|
||||||
|
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||||
|
import torch
|
||||||
|
|
||||||
|
model_id = "Rafaelcedav/atlas-finanzas-deepseek-r1-8b"
|
||||||
|
|
||||||
|
# Ronda 2 (recomendado — especialización legal)
|
||||||
|
tokenizer = AutoTokenizer.from_pretrained(model_id, revision="legal-v2")
|
||||||
|
model = AutoModelForCausalLM.from_pretrained(
|
||||||
|
model_id,
|
||||||
|
revision="legal-v2",
|
||||||
|
torch_dtype=torch.bfloat16,
|
||||||
|
attn_implementation="eager", # Requerido en ROCm
|
||||||
|
device_map="auto"
|
||||||
|
)
|
||||||
|
|
||||||
|
messages = [
|
||||||
|
{
|
||||||
|
"role": "system",
|
||||||
|
"content": "Eres ATLAS, auditor forense especializado en derecho fiscal MX/USA. Razona paso a paso. Identifica artículos específicos y construye argumentos auditables."
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"role": "user",
|
||||||
|
"content": "Empleado con horario fijo, oficina asignada y herramientas del empleador, pero clasificado como contratista independiente. Sin retenciones de nómina. ¿Análisis completo?"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
|
||||||
|
inputs = tokenizer.apply_chat_template(
|
||||||
|
messages, return_tensors="pt", add_generation_prompt=True
|
||||||
|
)
|
||||||
|
output = model.generate(
|
||||||
|
inputs, max_new_tokens=1024, temperature=0.1, do_sample=True
|
||||||
|
)
|
||||||
|
print(tokenizer.decode(output[0][inputs.shape[-1]:], skip_special_tokens=True))
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Rol en Pipeline ATLAS
|
||||||
|
|
||||||
|
```
|
||||||
|
[Vision · InternVL2-40B] ──► [Compliance · Motor 11434]
|
||||||
|
│
|
||||||
|
▼
|
||||||
|
┌───────────────────────────┐
|
||||||
|
│ DeepSeek-R1 · Motor 8000 │ ◄── Este modelo
|
||||||
|
│ │
|
||||||
|
│ Recibe hallazgos visión │
|
||||||
|
│ Razona sobre evidencia │
|
||||||
|
│ Descarta hipótesis │
|
||||||
|
│ Emite veredicto trazable │
|
||||||
|
└─────────────┬─────────────┘
|
||||||
|
│
|
||||||
|
▼
|
||||||
|
[Validator] ──► [Explainer]
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Ecosistema ATLAS
|
||||||
|
|
||||||
|
| Modelo | Rol | Params | Rondas | Eval Loss |
|
||||||
|
|--------|-----|--------|--------|-----------|
|
||||||
|
| [atlas-r2-qwen3-14b](https://huggingface.co/Rafaelcedav/atlas-r2-qwen3-14b) | Razonamiento principal | 14.7B | 2 | ~0.019 |
|
||||||
|
| **[atlas-finanzas-deepseek-r1-8b](https://huggingface.co/Rafaelcedav/atlas-finanzas-deepseek-r1-8b)** | **Análisis financiero forense** | **8.3B** | **2** | **~0.025** |
|
||||||
|
| [atlas-mistral-7b-legal](https://huggingface.co/Rafaelcedav/atlas-mistral-7b-legal) | Agente legal MX/USA | 7.2B | 1 | 0.0184 |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Stack Técnico
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
GPU: AMD Instinct MI300X VF
|
||||||
|
VRAM: 205.8 GB
|
||||||
|
PyTorch: 2.5.1+rocm6.2
|
||||||
|
Optimizer: adamw_torch
|
||||||
|
Attention: eager # SDPA → NaN en ROCm + bf16
|
||||||
|
Precision: bfloat16
|
||||||
|
Serving: vLLM (OpenAI-compat · Puerto 8000)
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
*Distilled from 671B. Trained on AMD. Built for forensic truth.*
|
||||||
1
chat_template.jinja
Normal file
1
chat_template.jinja
Normal file
@@ -0,0 +1 @@
|
|||||||
|
{% if not add_generation_prompt is defined %}{% set add_generation_prompt = false %}{% endif %}{% set ns = namespace(is_first=false, is_tool=false, is_output_first=true, system_prompt='') %}{%- for message in messages %}{%- if message['role'] == 'system' %}{% set ns.system_prompt = message['content'] %}{%- endif %}{%- endfor %}{{bos_token}}{{ns.system_prompt}}{%- for message in messages %}{%- if message['role'] == 'user' %}{%- set ns.is_tool = false -%}{{'<|User|>' + message['content']}}{%- endif %}{%- if message['role'] == 'assistant' and message['content'] is none %}{%- set ns.is_tool = false -%}{%- for tool in message['tool_calls']%}{%- if not ns.is_first %}{{'<|Assistant|><|tool▁calls▁begin|><|tool▁call▁begin|>' + tool['type'] + '<|tool▁sep|>' + tool['function']['name'] + '\n' + '```json' + '\n' + tool['function']['arguments'] + '\n' + '```' + '<|tool▁call▁end|>'}}{%- set ns.is_first = true -%}{%- else %}{{'\n' + '<|tool▁call▁begin|>' + tool['type'] + '<|tool▁sep|>' + tool['function']['name'] + '\n' + '```json' + '\n' + tool['function']['arguments'] + '\n' + '```' + '<|tool▁call▁end|>'}}{{'<|tool▁calls▁end|><|end▁of▁sentence|>'}}{%- endif %}{%- endfor %}{%- endif %}{%- if message['role'] == 'assistant' and message['content'] is not none %}{%- if ns.is_tool %}{{'<|tool▁outputs▁end|>' + message['content'] + '<|end▁of▁sentence|>'}}{%- set ns.is_tool = false -%}{%- else %}{% set content = message['content'] %}{% if '</think>' in content %}{% set content = content.split('</think>')[-1] %}{% endif %}{{'<|Assistant|>' + content + '<|end▁of▁sentence|>'}}{%- endif %}{%- endif %}{%- if message['role'] == 'tool' %}{%- set ns.is_tool = true -%}{%- if ns.is_output_first %}{{'<|tool▁outputs▁begin|><|tool▁output▁begin|>' + message['content'] + '<|tool▁output▁end|>'}}{%- set ns.is_output_first = false %}{%- else %}{{'\n<|tool▁output▁begin|>' + message['content'] + '<|tool▁output▁end|>'}}{%- endif %}{%- endif %}{%- endfor -%}{% if ns.is_tool %}{{'<|tool▁outputs▁end|>'}}{% endif %}{% if add_generation_prompt and not ns.is_tool %}{{'<|Assistant|><think>\n'}}{% endif %}
|
||||||
36
config.json
Normal file
36
config.json
Normal file
@@ -0,0 +1,36 @@
|
|||||||
|
{
|
||||||
|
"architectures": [
|
||||||
|
"LlamaForCausalLM"
|
||||||
|
],
|
||||||
|
"attention_bias": false,
|
||||||
|
"attention_dropout": 0.0,
|
||||||
|
"bos_token_id": 128000,
|
||||||
|
"dtype": "bfloat16",
|
||||||
|
"eos_token_id": 128001,
|
||||||
|
"head_dim": 128,
|
||||||
|
"hidden_act": "silu",
|
||||||
|
"hidden_size": 4096,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"intermediate_size": 14336,
|
||||||
|
"max_position_embeddings": 131072,
|
||||||
|
"mlp_bias": false,
|
||||||
|
"model_type": "llama",
|
||||||
|
"num_attention_heads": 32,
|
||||||
|
"num_hidden_layers": 32,
|
||||||
|
"num_key_value_heads": 8,
|
||||||
|
"pad_token_id": 128001,
|
||||||
|
"pretraining_tp": 1,
|
||||||
|
"rms_norm_eps": 1e-05,
|
||||||
|
"rope_parameters": {
|
||||||
|
"factor": 8.0,
|
||||||
|
"high_freq_factor": 4.0,
|
||||||
|
"low_freq_factor": 1.0,
|
||||||
|
"original_max_position_embeddings": 8192,
|
||||||
|
"rope_theta": 500000.0,
|
||||||
|
"rope_type": "llama3"
|
||||||
|
},
|
||||||
|
"tie_word_embeddings": false,
|
||||||
|
"transformers_version": "5.7.0",
|
||||||
|
"use_cache": false,
|
||||||
|
"vocab_size": 128256
|
||||||
|
}
|
||||||
12
generation_config.json
Normal file
12
generation_config.json
Normal file
@@ -0,0 +1,12 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 128000,
|
||||||
|
"do_sample": true,
|
||||||
|
"eos_token_id": [
|
||||||
|
128001
|
||||||
|
],
|
||||||
|
"pad_token_id": 128001,
|
||||||
|
"temperature": 0.6,
|
||||||
|
"top_p": 0.95,
|
||||||
|
"transformers_version": "5.7.0"
|
||||||
|
}
|
||||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:79a6ccb00231ceae9360b0117e065c417a14389c45fc7ab08285e0cefe17c85b
|
||||||
|
size 16060556616
|
||||||
3
tokenizer.json
Normal file
3
tokenizer.json
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:0157151eee05ab29b70f9162350b8ceb89d3481a9034f3abfcf0a1997a90f8fd
|
||||||
|
size 17208730
|
||||||
15
tokenizer_config.json
Normal file
15
tokenizer_config.json
Normal file
@@ -0,0 +1,15 @@
|
|||||||
|
{
|
||||||
|
"add_prefix_space": null,
|
||||||
|
"backend": "tokenizers",
|
||||||
|
"bos_token": "<|begin▁of▁sentence|>",
|
||||||
|
"clean_up_tokenization_spaces": false,
|
||||||
|
"eos_token": "<|end▁of▁sentence|>",
|
||||||
|
"is_local": false,
|
||||||
|
"local_files_only": false,
|
||||||
|
"model_max_length": 16384,
|
||||||
|
"pad_token": "<|end▁of▁sentence|>",
|
||||||
|
"sp_model_kwargs": {},
|
||||||
|
"tokenizer_class": "LlamaTokenizer",
|
||||||
|
"unk_token": null,
|
||||||
|
"use_default_system_prompt": false
|
||||||
|
}
|
||||||
3
training_args.bin
Normal file
3
training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:282af273c1f7fa3f4a38999ea6b063897a0c0a42a580b7a102c94f1b414c2021
|
||||||
|
size 4856
|
||||||
Reference in New Issue
Block a user