初始化项目,由ModelHub XC社区提供模型
Model: maftuh-main/batik-qwen1.5b-merged Source: Original Platform
This commit is contained in:
89
README.md
Normal file
89
README.md
Normal file
@@ -0,0 +1,89 @@
|
||||
---
|
||||
library_name: transformers
|
||||
base_model: Qwen/Qwen2.5-1.5B-Instruct
|
||||
tags:
|
||||
- batik
|
||||
- indonesia
|
||||
- budaya
|
||||
- qwen2
|
||||
- lora
|
||||
- qlora
|
||||
- conversational
|
||||
language:
|
||||
- id
|
||||
pipeline_tag: text-generation
|
||||
---
|
||||
|
||||
# Wastra.ai — Batik Qwen 1.5B (Merged)
|
||||
|
||||
Model bahasa hasil fine-tuning dari **Qwen2.5-1.5B-Instruct**, dilatih khusus sebagai asisten pakar budaya **Batik Nusantara**. Model ini merupakan hasil merge antara base model dengan adapter LoRA yang dilatih menggunakan teknik QLoRA (4-bit quantization).
|
||||
|
||||
## Model Description
|
||||
|
||||
Wastra.ai adalah model percakapan yang berperan sebagai pakar budaya batik Indonesia, dirancang untuk menjawab pertanyaan seputar:
|
||||
- Sejarah dan filosofi batik
|
||||
- Teknik dan proses pembuatan batik (mori, malam, pencelupan, dsb.)
|
||||
- Ragam motif batik dari berbagai daerah
|
||||
- Status UNESCO dan pelestarian batik sebagai warisan budaya
|
||||
|
||||
Model ini menjawab dengan gaya bahasa **formal, informatif, edukatif**, dan menolak secara elegan pertanyaan di luar topik batik.
|
||||
|
||||
- **Developed by:** Muhammad Maftuh
|
||||
- **Model type:** Causal Language Model (fine-tuned, merged LoRA)
|
||||
- **Language(s):** Bahasa Indonesia
|
||||
- **License:** Apache 2.0 (mengikuti lisensi base model)
|
||||
- **Finetuned from model:** [Qwen/Qwen2.5-1.5B-Instruct](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct)
|
||||
|
||||
## Uses
|
||||
|
||||
### Direct Use
|
||||
Model ini dapat digunakan langsung sebagai chatbot edukatif untuk topik batik — cocok untuk aplikasi pembelajaran, chatbot museum digital, atau fitur tanya-jawab dalam aplikasi budaya seperti **BatikLens**.
|
||||
|
||||
### Out-of-Scope Use
|
||||
Model ini **tidak dirancang** untuk menjawab pertanyaan di luar topik batik dan budaya terkait. Untuk kebutuhan umum, gunakan model dasar Qwen2.5-1.5B-Instruct.
|
||||
|
||||
## How to Get Started with the Model
|
||||
|
||||
```python
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
|
||||
model_id = "maftuh-main/batik-qwen1.5b-merged"
|
||||
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
||||
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
|
||||
|
||||
messages = [
|
||||
{"role": "system", "content": "Kamu adalah Wastra.ai, sebuah kecerdasan buatan yang berperan sebagai Pakar Budaya Batik Nusantara yang sangat berwibawa."},
|
||||
{"role": "user", "content": "Jelaskan filosofi motif Parang."}
|
||||
]
|
||||
|
||||
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
|
||||
outputs = model.generate(inputs, max_new_tokens=256)
|
||||
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|
||||
```
|
||||
|
||||
## Training Details
|
||||
|
||||
### Training Data
|
||||
Dataset percakapan sintetis dan kurasi seputar batik (`maftuh-main/dataset-batik-trl-sft`), mencakup topik sejarah, teknik pembuatan, filosofi motif, dan pengakuan UNESCO terhadap batik Indonesia.
|
||||
|
||||
### Training Procedure
|
||||
|
||||
- **Base model:** Qwen2.5-1.5B-Instruct
|
||||
- **Metode:** QLoRA (4-bit NF4 quantization) + LoRA adapter, kemudian di-merge ke base model
|
||||
- **LoRA config:** r=16, alpha=32, dropout=0.05, target modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
|
||||
- **Training regime:** bf16 mixed precision
|
||||
- **Optimizer:** paged_adamw_8bit
|
||||
- **Learning rate:** 1e-4, cosine scheduler, 100 warmup steps
|
||||
- **Max sequence length:** 512
|
||||
- **Hardware:** Kaggle Notebook — NVIDIA Tesla T4 x2
|
||||
|
||||
## Limitations
|
||||
|
||||
- Model dibatasi hanya untuk topik batik; performa di luar domain ini belum diuji.
|
||||
- Sebagai model 1.5B parameter, kapabilitas reasoning kompleks lebih terbatas dibanding model yang lebih besar.
|
||||
- Dataset training bersifat sintetis/terkurasi sehingga kualitas jawaban bergantung pada cakupan dataset.
|
||||
|
||||
## Model Card Contact
|
||||
|
||||
Muhammad Maftuh — proyek [BatikLens](https://huggingface.co/maftuh-main)
|
||||
Reference in New Issue
Block a user