初始化项目,由ModelHub XC社区提供模型
Model: mhenrichsen/danskgpt-tiny Source: Original Platform
This commit is contained in:
41
README.md
Normal file
41
README.md
Normal file
@@ -0,0 +1,41 @@
|
||||
---
|
||||
license: apache-2.0
|
||||
language:
|
||||
- da
|
||||
---
|
||||
# DanskGPT-tiny
|
||||
<img src="tiny-danskgpt.png" width="500" height="500">
|
||||
|
||||
DanskGPT-tiny er en 1,1 milliard parametre LLaMA baseret LLM. Træningen er en fortsættelse af [TinyLLaMA](https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T).
|
||||
|
||||
Modellen er trænet på 8 milliarder tokens af dansk syntetisk tekst.
|
||||
|
||||
Denne model er en såkaldt "foundation/completion" model, og er derfor ikke beregnet til at chatte med.
|
||||
|
||||
## Inferens
|
||||
Ved brug af vLLM.
|
||||
|
||||
```
|
||||
pip install vllm
|
||||
```
|
||||
|
||||
```python
|
||||
from vllm import LLM, SamplingParams
|
||||
|
||||
sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512)
|
||||
llm = LLM(model="mhenrichsen/danskgpt-tiny")
|
||||
|
||||
while True:
|
||||
prompt = input("Skriv: ")
|
||||
outputs = llm.generate(prompt, sampling_params)
|
||||
for output in outputs:
|
||||
prompt = output.prompt
|
||||
generated_text = output.outputs[0].text
|
||||
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
|
||||
|
||||
```
|
||||
|
||||
## Brug for hjælp?
|
||||
Har du spørgsmål eller brug for hjælp til LLM'er eller automatisering af tekstbaserede opgaver, så kontakt mig gerne.
|
||||
|
||||
/Mads
|
||||
Reference in New Issue
Block a user