89 lines
3.6 KiB
Markdown
89 lines
3.6 KiB
Markdown
|
---
|
||
|
|
library_name: transformers
|
||
|
|
base_model: Qwen/Qwen2.5-1.5B-Instruct
|
||
|
|
tags:
|
||
|
|
- batik
|
||
|
|
- indonesia
|
||
|
|
- budaya
|
||
|
|
- qwen2
|
||
|
|
- lora
|
||
|
|
- qlora
|
||
|
|
- conversational
|
||
|
|
language:
|
||
|
|
- id
|
||
|
|
pipeline_tag: text-generation
|
||
|
|
---
|
||
|
|
|
||
|
|
# Wastra.ai — Batik Qwen 1.5B (Merged)
|
||
|
|
|
||
|
|
Model bahasa hasil fine-tuning dari **Qwen2.5-1.5B-Instruct**, dilatih khusus sebagai asisten pakar budaya **Batik Nusantara**. Model ini merupakan hasil merge antara base model dengan adapter LoRA yang dilatih menggunakan teknik QLoRA (4-bit quantization).
|
||
|
|
|
||
|
|
## Model Description
|
||
|
|
|
||
|
|
Wastra.ai adalah model percakapan yang berperan sebagai pakar budaya batik Indonesia, dirancang untuk menjawab pertanyaan seputar:
|
||
|
|
- Sejarah dan filosofi batik
|
||
|
|
- Teknik dan proses pembuatan batik (mori, malam, pencelupan, dsb.)
|
||
|
|
- Ragam motif batik dari berbagai daerah
|
||
|
|
- Status UNESCO dan pelestarian batik sebagai warisan budaya
|
||
|
|
|
||
|
|
Model ini menjawab dengan gaya bahasa **formal, informatif, edukatif**, dan menolak secara elegan pertanyaan di luar topik batik.
|
||
|
|
|
||
|
|
- **Developed by:** Muhammad Maftuh
|
||
|
|
- **Model type:** Causal Language Model (fine-tuned, merged LoRA)
|
||
|
|
- **Language(s):** Bahasa Indonesia
|
||
|
|
- **License:** Apache 2.0 (mengikuti lisensi base model)
|
||
|
|
- **Finetuned from model:** [Qwen/Qwen2.5-1.5B-Instruct](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct)
|
||
|
|
|
||
|
|
## Uses
|
||
|
|
|
||
|
|
### Direct Use
|
||
|
|
Model ini dapat digunakan langsung sebagai chatbot edukatif untuk topik batik — cocok untuk aplikasi pembelajaran, chatbot museum digital, atau fitur tanya-jawab dalam aplikasi budaya seperti **BatikLens**.
|
||
|
|
|
||
|
|
### Out-of-Scope Use
|
||
|
|
Model ini **tidak dirancang** untuk menjawab pertanyaan di luar topik batik dan budaya terkait. Untuk kebutuhan umum, gunakan model dasar Qwen2.5-1.5B-Instruct.
|
||
|
|
|
||
|
|
## How to Get Started with the Model
|
||
|
|
|
||
|
|
```python
|
||
|
|
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||
|
|
|
||
|
|
model_id = "maftuh-main/batik-qwen1.5b-merged"
|
||
|
|
|
||
|
|
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
||
|
|
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
|
||
|
|
|
||
|
|
messages = [
|
||
|
|
{"role": "system", "content": "Kamu adalah Wastra.ai, sebuah kecerdasan buatan yang berperan sebagai Pakar Budaya Batik Nusantara yang sangat berwibawa."},
|
||
|
|
{"role": "user", "content": "Jelaskan filosofi motif Parang."}
|
||
|
|
]
|
||
|
|
|
||
|
|
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
|
||
|
|
outputs = model.generate(inputs, max_new_tokens=256)
|
||
|
|
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|
||
|
|
```
|
||
|
|
|
||
|
|
## Training Details
|
||
|
|
|
||
|
|
### Training Data
|
||
|
|
Dataset percakapan sintetis dan kurasi seputar batik (`maftuh-main/dataset-batik-trl-sft`), mencakup topik sejarah, teknik pembuatan, filosofi motif, dan pengakuan UNESCO terhadap batik Indonesia.
|
||
|
|
|
||
|
|
### Training Procedure
|
||
|
|
|
||
|
|
- **Base model:** Qwen2.5-1.5B-Instruct
|
||
|
|
- **Metode:** QLoRA (4-bit NF4 quantization) + LoRA adapter, kemudian di-merge ke base model
|
||
|
|
- **LoRA config:** r=16, alpha=32, dropout=0.05, target modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
|
||
|
|
- **Training regime:** bf16 mixed precision
|
||
|
|
- **Optimizer:** paged_adamw_8bit
|
||
|
|
- **Learning rate:** 1e-4, cosine scheduler, 100 warmup steps
|
||
|
|
- **Max sequence length:** 512
|
||
|
|
- **Hardware:** Kaggle Notebook — NVIDIA Tesla T4 x2
|
||
|
|
|
||
|
|
## Limitations
|
||
|
|
|
||
|
|
- Model dibatasi hanya untuk topik batik; performa di luar domain ini belum diuji.
|
||
|
|
- Sebagai model 1.5B parameter, kapabilitas reasoning kompleks lebih terbatas dibanding model yang lebih besar.
|
||
|
|
- Dataset training bersifat sintetis/terkurasi sehingga kualitas jawaban bergantung pada cakupan dataset.
|
||
|
|
|
||
|
|
## Model Card Contact
|
||
|
|
|
||
|
|
Muhammad Maftuh — proyek [BatikLens](https://huggingface.co/maftuh-main)
|