---
library_name: transformers
base_model: Qwen/Qwen2.5-1.5B-Instruct
tags:
  - batik
  - indonesia
  - budaya
  - qwen2
  - lora
  - qlora
  - conversational
language:
  - id
pipeline_tag: text-generation
---

# Wastra.ai — Batik Qwen 1.5B (Merged)

Model bahasa hasil fine-tuning dari **Qwen2.5-1.5B-Instruct**, dilatih khusus sebagai asisten pakar budaya **Batik Nusantara**. Model ini merupakan hasil merge antara base model dengan adapter LoRA yang dilatih menggunakan teknik QLoRA (4-bit quantization).

## Model Description

Wastra.ai adalah model percakapan yang berperan sebagai pakar budaya batik Indonesia, dirancang untuk menjawab pertanyaan seputar:
- Sejarah dan filosofi batik
- Teknik dan proses pembuatan batik (mori, malam, pencelupan, dsb.)
- Ragam motif batik dari berbagai daerah
- Status UNESCO dan pelestarian batik sebagai warisan budaya

Model ini menjawab dengan gaya bahasa **formal, informatif, edukatif**, dan menolak secara elegan pertanyaan di luar topik batik.

- **Developed by:** Muhammad Maftuh
- **Model type:** Causal Language Model (fine-tuned, merged LoRA)
- **Language(s):** Bahasa Indonesia
- **License:** Apache 2.0 (mengikuti lisensi base model)
- **Finetuned from model:** [Qwen/Qwen2.5-1.5B-Instruct](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct)

## Uses

### Direct Use
Model ini dapat digunakan langsung sebagai chatbot edukatif untuk topik batik — cocok untuk aplikasi pembelajaran, chatbot museum digital, atau fitur tanya-jawab dalam aplikasi budaya seperti **BatikLens**.

### Out-of-Scope Use
Model ini **tidak dirancang** untuk menjawab pertanyaan di luar topik batik dan budaya terkait. Untuk kebutuhan umum, gunakan model dasar Qwen2.5-1.5B-Instruct.

## How to Get Started with the Model

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "maftuh-main/batik-qwen1.5b-merged"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

messages = [
    {"role": "system", "content": "Kamu adalah Wastra.ai, sebuah kecerdasan buatan yang berperan sebagai Pakar Budaya Batik Nusantara yang sangat berwibawa."},
    {"role": "user", "content": "Jelaskan filosofi motif Parang."}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
outputs = model.generate(inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```

## Training Details

### Training Data
Dataset percakapan sintetis dan kurasi seputar batik (`maftuh-main/dataset-batik-trl-sft`), mencakup topik sejarah, teknik pembuatan, filosofi motif, dan pengakuan UNESCO terhadap batik Indonesia.

### Training Procedure

- **Base model:** Qwen2.5-1.5B-Instruct
- **Metode:** QLoRA (4-bit NF4 quantization) + LoRA adapter, kemudian di-merge ke base model
- **LoRA config:** r=16, alpha=32, dropout=0.05, target modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
- **Training regime:** bf16 mixed precision
- **Optimizer:** paged_adamw_8bit
- **Learning rate:** 1e-4, cosine scheduler, 100 warmup steps
- **Max sequence length:** 512
- **Hardware:** Kaggle Notebook — NVIDIA Tesla T4 x2

## Limitations

- Model dibatasi hanya untuk topik batik; performa di luar domain ini belum diuji.
- Sebagai model 1.5B parameter, kapabilitas reasoning kompleks lebih terbatas dibanding model yang lebih besar.
- Dataset training bersifat sintetis/terkurasi sehingga kualitas jawaban bergantung pada cakupan dataset.

## Model Card Contact

Muhammad Maftuh — proyek [BatikLens](https://huggingface.co/maftuh-main)