37 lines
1005 B
Markdown
37 lines
1005 B
Markdown
|
---
|
||
|
|
library_name: transformers
|
||
|
|
datasets:
|
||
|
|
- DeepMount00/Sonnet-3.5-ITA-INSTRUCTION
|
||
|
|
- DeepMount00/Sonnet-3.5-ITA-DPO
|
||
|
|
---
|
||
|
|
|
||
|
|
## How to Use
|
||
|
|
|
||
|
|
```python
|
||
|
|
import torch
|
||
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||
|
|
|
||
|
|
model_name = "DeepMount00/Lexora-Lite-3B_v2"
|
||
|
|
|
||
|
|
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
||
|
|
model = AutoModelForCausalLM.from_pretrained(
|
||
|
|
model_name,
|
||
|
|
torch_dtype=torch.bfloat16,
|
||
|
|
device_map="auto",
|
||
|
|
)
|
||
|
|
|
||
|
|
prompt = [{'role': 'user', 'content': """Marco ha comprato 5 scatole di cioccolatini. Ogni scatola contiene 12 cioccolatini. Ha deciso di dare 3 cioccolatini a ciascuno dei suoi 7 amici. Quanti cioccolatini gli rimarranno dopo averli distribuiti ai suoi amici?"""}]
|
||
|
|
inputs = tokenizer.apply_chat_template(
|
||
|
|
prompt,
|
||
|
|
add_generation_prompt=True,
|
||
|
|
return_tensors='pt'
|
||
|
|
)
|
||
|
|
tokens = model.generate(
|
||
|
|
inputs.to(model.device),
|
||
|
|
max_new_tokens=1024,
|
||
|
|
temperature=0.001,
|
||
|
|
do_sample=True
|
||
|
|
)
|
||
|
|
|
||
|
|
print(tokenizer.decode(tokens[0], skip_special_tokens=False))
|
||
|
|
```
|