49 lines
1.5 KiB
Markdown
49 lines
1.5 KiB
Markdown
---
|
|
base_model: Qwen/Qwen2.5-3B-Instruct
|
|
language:
|
|
- ko
|
|
license: apache-2.0
|
|
library_name: transformers
|
|
pipeline_tag: text-generation
|
|
tags:
|
|
- qwen2.5
|
|
- korean
|
|
- pii
|
|
- privacy
|
|
- merged
|
|
- vllm
|
|
---
|
|
|
|
# Qwen2.5-3B Korean PII — merged checkpoint
|
|
|
|
독립 실행형 Hugging Face 체크포인트입니다. `bbanany/qwen25-3b-korean-pii-qlora2`의 LoRA 어댑터를
|
|
`Qwen/Qwen2.5-3B-Instruct` FP16 베이스에 적용한 후 `merge_and_unload()`로 병합했습니다.
|
|
따라서 PEFT 어댑터, bitsandbytes, NF4 또는 NVIDIA GPU 없이 일반 Transformers 및 vLLM에서 바로 로드할 수 있습니다.
|
|
|
|
## vLLM
|
|
|
|
```bash
|
|
vllm serve bbanany/qwen25-3b-korean-pii-merged --dtype half --max-model-len 1024
|
|
```
|
|
|
|
OpenAI 호환 엔드포인트는 `http://localhost:8000/v1`입니다.
|
|
|
|
## CPU / Apple Silicon
|
|
|
|
Mac CPU용 경량 실행은 GGUF 배포본을 사용하세요:
|
|
[`bbanany/qwen25-3b-korean-pii-gguf`](https://huggingface.co/bbanany/qwen25-3b-korean-pii-gguf)
|
|
|
|
## Input
|
|
|
|
원본 모델 카드의 Qwen chat template을 적용하고, 아래 JSON 문자열을 user 메시지로 넣습니다.
|
|
|
|
```json
|
|
{"answer":"김민수의 고객 원장에 연락처 010-1234-5678이 기록되어 있습니다.","candidate":{"text":"010-1234-5678","tag":"PHONE_NUMBER","start":16,"end":29}}
|
|
```
|
|
|
|
출력은 `PII` 또는 `NOT_PII`입니다. 실제 개인정보 처리의 최종 판정에는 독립 평가와 사람 검토가 필요합니다.
|
|
|
|
## License
|
|
|
|
Apache-2.0. 베이스 모델의 이용 조건도 함께 적용됩니다.
|