42 lines
1.1 KiB
Markdown
42 lines
1.1 KiB
Markdown
---
|
|
license: apache-2.0
|
|
language:
|
|
- da
|
|
---
|
|
# DanskGPT-tiny
|
|
<img src="tiny-danskgpt.png" width="500" height="500">
|
|
|
|
DanskGPT-tiny er en 1,1 milliard parametre LLaMA baseret LLM. Træningen er en fortsættelse af [TinyLLaMA](https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T).
|
|
|
|
Modellen er trænet på 8 milliarder tokens af dansk syntetisk tekst.
|
|
|
|
Denne model er en såkaldt "foundation/completion" model, og er derfor ikke beregnet til at chatte med.
|
|
|
|
## Inferens
|
|
Ved brug af vLLM.
|
|
|
|
```
|
|
pip install vllm
|
|
```
|
|
|
|
```python
|
|
from vllm import LLM, SamplingParams
|
|
|
|
sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512)
|
|
llm = LLM(model="mhenrichsen/danskgpt-tiny")
|
|
|
|
while True:
|
|
prompt = input("Skriv: ")
|
|
outputs = llm.generate(prompt, sampling_params)
|
|
for output in outputs:
|
|
prompt = output.prompt
|
|
generated_text = output.outputs[0].text
|
|
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
|
|
|
|
```
|
|
|
|
## Brug for hjælp?
|
|
Har du spørgsmål eller brug for hjælp til LLM'er eller automatisering af tekstbaserede opgaver, så kontakt mig gerne.
|
|
|
|
/Mads
|