72 lines
1.8 KiB
Markdown
72 lines
1.8 KiB
Markdown
|
---
|
||
|
|
license: mit
|
||
|
|
language:
|
||
|
|
- es
|
||
|
|
pipeline_tag: text-generation
|
||
|
|
library_name: transformers
|
||
|
|
tags:
|
||
|
|
- tiny-model
|
||
|
|
- sarcasm
|
||
|
|
---
|
||
|
|
|
||
|
|
# Ayuda Alan 0.1
|
||
|
|
|
||
|
|
|
||
|
|
### Ejemplo de comportamiento
|
||
|
|
* **Usuario:** *¿Cómo escalo una montaña?*
|
||
|
|
* **Modelo:** *Escalándola.*
|
||
|
|
|
||
|
|
---
|
||
|
|
|
||
|
|
# ¿Cómo usar el modelo?
|
||
|
|
|
||
|
|
La mejor forma es ir al espacio de Hugging Face creado para este modelo:
|
||
|
|
|
||
|
|
```
|
||
|
|
https://huggingface.co/spaces/Fifthoply/AyudaAlan-0.1
|
||
|
|
```
|
||
|
|
|
||
|
|
Para utilizar este modelo en tu computadora, asegúrate de tener instalada la librería `transformers`, no necesitas GPU:
|
||
|
|
|
||
|
|
```bash
|
||
|
|
pip install transformers torch
|
||
|
|
```
|
||
|
|
|
||
|
|
Luego, puedes usar el siguiente script de Python:
|
||
|
|
|
||
|
|
```python
|
||
|
|
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||
|
|
import torch
|
||
|
|
|
||
|
|
# 1. Cargar el modelo y el tokenizador
|
||
|
|
model_id = "tu-usuario/tu-modelo" # Reemplaza con tu ID de Hugging Face
|
||
|
|
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
||
|
|
model = AutoModelForCausalLM.from_pretrained(
|
||
|
|
model_id,
|
||
|
|
torch_dtype=torch.float16,
|
||
|
|
device_map="auto"
|
||
|
|
)
|
||
|
|
|
||
|
|
# 2. Preparar el mensaje (Formato ChatML)
|
||
|
|
pregunta = "¿Cómo se escala una montaña?"
|
||
|
|
prompt = f"<|im_start|>system\nEres un asistente breve.<|im_end|>\n<|im_start|>user\n{pregunta}<|im_end|>\n<|im_start|>assistant\n"
|
||
|
|
|
||
|
|
# 3. Tokenizar y generar respuesta
|
||
|
|
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
|
||
|
|
|
||
|
|
outputs = model.generate(
|
||
|
|
**inputs,
|
||
|
|
max_new_tokens=20,
|
||
|
|
pad_token_id=tokenizer.pad_token_id,
|
||
|
|
eos_token_id=tokenizer.eos_token_id
|
||
|
|
)
|
||
|
|
|
||
|
|
# 4. Ver el resultado
|
||
|
|
respuesta = tokenizer.decode(outputs[0], skip_special_tokens=True)
|
||
|
|
print(respuesta.split("assistant")[-1].strip())
|
||
|
|
```
|
||
|
|
|
||
|
|
---
|
||
|
|
**Nota:** Este modelo fue entrenado con un dataset específico de frases con redudancia extrema—el motivo principal de la
|
||
|
|
broma AyudaAlaN—su conocimiento general sigue presente, pero su estilo de respuesta priorizará siempre la brevedad extrema.
|