初始化项目,由ModelHub XC社区提供模型
Model: DeepMount00/Lexora-Lite-3B_v2 Source: Original Platform
This commit is contained in:
37
README.md
Normal file
37
README.md
Normal file
@@ -0,0 +1,37 @@
|
||||
---
|
||||
library_name: transformers
|
||||
datasets:
|
||||
- DeepMount00/Sonnet-3.5-ITA-INSTRUCTION
|
||||
- DeepMount00/Sonnet-3.5-ITA-DPO
|
||||
---
|
||||
|
||||
## How to Use
|
||||
|
||||
```python
|
||||
import torch
|
||||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||||
|
||||
model_name = "DeepMount00/Lexora-Lite-3B_v2"
|
||||
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
||||
model = AutoModelForCausalLM.from_pretrained(
|
||||
model_name,
|
||||
torch_dtype=torch.bfloat16,
|
||||
device_map="auto",
|
||||
)
|
||||
|
||||
prompt = [{'role': 'user', 'content': """Marco ha comprato 5 scatole di cioccolatini. Ogni scatola contiene 12 cioccolatini. Ha deciso di dare 3 cioccolatini a ciascuno dei suoi 7 amici. Quanti cioccolatini gli rimarranno dopo averli distribuiti ai suoi amici?"""}]
|
||||
inputs = tokenizer.apply_chat_template(
|
||||
prompt,
|
||||
add_generation_prompt=True,
|
||||
return_tensors='pt'
|
||||
)
|
||||
tokens = model.generate(
|
||||
inputs.to(model.device),
|
||||
max_new_tokens=1024,
|
||||
temperature=0.001,
|
||||
do_sample=True
|
||||
)
|
||||
|
||||
print(tokenizer.decode(tokens[0], skip_special_tokens=False))
|
||||
```
|
||||
Reference in New Issue
Block a user