初始化项目，由ModelHub XC社区提供模型
Model: thanhhoangnvbg/empathAI-llama3.1-8b Source: Original Platform
This commit is contained in:
ModelHub XC
36
.gitattributes
vendored
Normal file
36
.gitattributes
vendored
Normal file
@@ -0,0 +1,36 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
||||
394
README.md
Normal file
394
README.md
Normal file
@@ -0,0 +1,394 @@
|
||||
---
|
||||
license: mit
|
||||
|
||||
language:
|
||||
- vi
|
||||
|
||||
pipeline_tag: text-generation
|
||||
|
||||
library_name: transformers
|
||||
|
||||
base_model: "unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit"
|
||||
|
||||
datasets:
|
||||
- "thanhhoangnvbg/empathAI-dpo-vi"
|
||||
|
||||
tags:
|
||||
- transformers
|
||||
- unsloth
|
||||
- llama
|
||||
- llama-3
|
||||
- gguf
|
||||
- "llama.cpp"
|
||||
- ollama
|
||||
- "lm-studio"
|
||||
- koboldcpp
|
||||
- rag
|
||||
- rag-ready
|
||||
- trl
|
||||
- sft
|
||||
- dpo
|
||||
- empathy
|
||||
- customer-service
|
||||
- vietnamese
|
||||
- vi
|
||||
- chatbot
|
||||
- emotional-support
|
||||
- customer-support
|
||||
- ecommerce
|
||||
- toxic-customer-support
|
||||
---
|
||||
|
||||
## pipeline_tag: text-generation
|
||||
|
||||
# 🧠 EmpathAI - Llama 3.1 8B
|
||||
|
||||
### Vietnamese Toxic E-commerce Customer Support Model
|
||||
|
||||
[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
|
||||
|
||||
**EmpathAI** là mô hình LLM tiếng Việt được fine-tune chuyên biệt cho bài toán **chăm sóc khách hàng thương mại điện tử**, đặc biệt tập trung vào các tình huống khó như:
|
||||
|
||||
* khách hàng toxic / tức giận
|
||||
* giao hàng trễ
|
||||
* thiếu hàng / sai hàng
|
||||
* sản phẩm lỗi hoặc hư hỏng
|
||||
* refund / đổi trả
|
||||
* payment / COD issues
|
||||
* escalation và de-escalation
|
||||
* xử lý theo policy và workflow thực tế
|
||||
|
||||
Mục tiêu của EmpathAI là:
|
||||
|
||||
* giảm hallucination trong CSKH
|
||||
* xử lý khách hàng toxic tự nhiên hơn
|
||||
* hoạt động tốt với RAG/tool systems
|
||||
* tăng realism cho workflow e-commerce tiếng Việt
|
||||
|
||||
---
|
||||
|
||||
# 📌 Trạng thái hiện tại
|
||||
|
||||
EmpathAI v2 hiện đang trong quá trình phát triển và đánh giá.
|
||||
|
||||
Phiên bản v2 tập trung cải thiện:
|
||||
|
||||
* multi-turn workflow
|
||||
* order-code handling
|
||||
* payment/COD edge cases
|
||||
* policy/context grounding
|
||||
* privacy & PII safety
|
||||
* tool-aware customer support
|
||||
* giảm hallucinated refund/order-status responses
|
||||
|
||||
Phiên bản v1 hiện tại vẫn được giữ nguyên và tiếp tục khả dụng.
|
||||
|
||||
---
|
||||
|
||||
# 🌟 Điểm nổi bật
|
||||
|
||||
## 💬 Emotional Intelligence
|
||||
|
||||
EmpathAI được huấn luyện để:
|
||||
|
||||
* xoa dịu khách hàng đang tức giận
|
||||
* tránh tranh cãi không cần thiết
|
||||
* giữ giọng điệu tự nhiên, không quá máy móc
|
||||
* đưa ra bước xử lý tiếp theo rõ ràng
|
||||
|
||||
---
|
||||
|
||||
## 🧩 RAG & Tool-Friendly
|
||||
|
||||
Mô hình được thiết kế để hoạt động tốt với:
|
||||
|
||||
* RAG pipelines
|
||||
* order lookup systems
|
||||
* internal customer-support tools
|
||||
|
||||
EmpathAI biết:
|
||||
|
||||
* khi nào cần hỏi mã đơn
|
||||
* khi nào cần yêu cầu thêm thông tin
|
||||
* khi nào chưa đủ dữ liệu để kết luận
|
||||
* tránh tự bịa trạng thái đơn hàng
|
||||
|
||||
---
|
||||
|
||||
## 🛡️ Safety & Grounding Focus
|
||||
|
||||
EmpathAI v2 tập trung giảm:
|
||||
|
||||
* hallucinated order status
|
||||
* unsupported refund promises
|
||||
* tự ý đề xuất voucher/bồi thường
|
||||
* yêu cầu PII không cần thiết
|
||||
* rò rỉ thông tin khách hàng khác
|
||||
|
||||
---
|
||||
|
||||
# 📊 Tổng quan Dataset
|
||||
|
||||
## Dataset v1
|
||||
|
||||
Dataset gốc chủ yếu tập trung vào:
|
||||
|
||||
* toxic customer complaints
|
||||
* delayed delivery
|
||||
* refund/compensation
|
||||
* damaged/missing products
|
||||
* Vietnamese empathy/de-escalation
|
||||
|
||||
### Hạn chế của v1
|
||||
|
||||
* phần lớn là single-turn
|
||||
* ít workflow tool-aware
|
||||
* ít payment/COD scenarios
|
||||
* ít privacy/security cases
|
||||
* còn tendency overpromise trong một số DPO pairs cũ
|
||||
|
||||
---
|
||||
|
||||
## Pipeline Dataset v2
|
||||
|
||||
Pipeline dataset v2 hiện bao gồm:
|
||||
|
||||
* cleaned old SFT pool
|
||||
* re-judged DPO preference pairs
|
||||
* synthetic toxic e-commerce conversations
|
||||
* multi-turn workflow generation
|
||||
* benchmark-oriented evaluation data
|
||||
|
||||
### Mục tiêu dataset
|
||||
|
||||
* ~10k SFT samples
|
||||
* ~6k DPO pairs
|
||||
* benchmark eval riêng
|
||||
|
||||
---
|
||||
|
||||
# 🏋️ Pipeline Training
|
||||
|
||||
EmpathAI v2 sử dụng pipeline train 2 giai đoạn:
|
||||
|
||||
## Stage 1 — SFT
|
||||
|
||||
Supervised fine-tuning trên:
|
||||
|
||||
* chosen responses đã clean từ dataset cũ
|
||||
* synthetic customer-support conversations mới
|
||||
|
||||
---
|
||||
|
||||
## Stage 2 — DPO
|
||||
|
||||
Direct Preference Optimization trên:
|
||||
|
||||
* chosen/rejected pairs rõ ràng
|
||||
* DPO samples đã safety-filter và re-judge
|
||||
|
||||
Các preference pair mơ hồ sẽ bị loại để tăng độ ổn định cho DPO.
|
||||
|
||||
---
|
||||
|
||||
# 📈 Benchmark (Đang phát triển)
|
||||
|
||||
Một benchmark riêng cho Vietnamese toxic e-commerce customer support hiện đang được xây dựng.
|
||||
|
||||
## Các nhóm đánh giá
|
||||
|
||||
* hallucinated order-status rate
|
||||
* hallucinated refund/compensation rate
|
||||
* multi-turn state tracking
|
||||
* policy/context grounding
|
||||
* payment/COD realism
|
||||
* privacy & PII safety
|
||||
* toxic customer handling quality
|
||||
* escalation/de-escalation quality
|
||||
|
||||
## Các model dự kiến benchmark
|
||||
|
||||
* EmpathAI v1
|
||||
* EmpathAI v2
|
||||
* Llama 3.1 8B Instruct
|
||||
* Qwen Instruct
|
||||
* Gemini Flash-class models
|
||||
|
||||
---
|
||||
|
||||
# 📊 Thông số kỹ thuật
|
||||
|
||||
| Thành phần | Chi tiết |
|
||||
| :---------------------- | :----------------------- |
|
||||
| **Mô hình gốc** | `Llama-3.1-8B-Instruct` |
|
||||
| **Kiến trúc** | QLoRA / DPO |
|
||||
| **Hạ tầng huấn luyện** | Google Cloud Vertex AI |
|
||||
| **GPU sử dụng** | NVIDIA L4 / RTX PRO 6000 |
|
||||
| **Pipeline huấn luyện** | SFT + DPO |
|
||||
| **Tối ưu hóa** | Unsloth |
|
||||
|
||||
---
|
||||
|
||||
# 🌿 Branches
|
||||
|
||||
| Branch | Mô tả |
|
||||
| --------- | -------------------------------------------------------------- |
|
||||
| `main` | bản inference-ready 4-bit mới nhất (stable release mặc định) |
|
||||
| `v1-bf16` | full-quality BF16 weights của EmpathAI v1 |
|
||||
| `v1-4bit` | phiên bản 4-bit của EmpathAI v1 |
|
||||
| `v1-gguf` | GGUF export của EmpathAI v1 cho llama.cpp / LM Studio / Ollama |
|
||||
| `v2-bf16` | full-quality BF16 weights của EmpathAI v2 |
|
||||
| `v2-4bit` | phiên bản 4-bit của EmpathAI v2 |
|
||||
| `v2-gguf` | GGUF export của EmpathAI v2 cho llama.cpp / LM Studio / Ollama |
|
||||
|
||||
---
|
||||
|
||||
# 🚀 Hướng dẫn sử dụng
|
||||
|
||||
```python
|
||||
import torch
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
|
||||
model_id = "thanhhoangnvbg/empathAI-llama3.1-8b"
|
||||
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
||||
model = AutoModelForCausalLM.from_pretrained(
|
||||
model_id,
|
||||
torch_dtype=torch.bfloat16,
|
||||
device_map="auto"
|
||||
)
|
||||
|
||||
messages = [
|
||||
{
|
||||
"role": "system",
|
||||
"content": """Bạn là EmpathAI, chuyên viên CSKH e-commerce tiếng Việt.
|
||||
|
||||
Nguyên tắc:
|
||||
- Không tự bịa trạng thái đơn hàng.
|
||||
- Không tự hứa hoàn tiền/voucher khi chưa có căn cứ.
|
||||
- Nếu thiếu dữ liệu, hãy yêu cầu thêm thông tin.
|
||||
- Giữ giọng điệu bình tĩnh và chuyên nghiệp."""
|
||||
},
|
||||
{
|
||||
"role": "user",
|
||||
"content": "Đơn tôi giao trễ 5 ngày rồi đấy."
|
||||
}
|
||||
]
|
||||
|
||||
inputs = tokenizer.apply_chat_template(
|
||||
messages,
|
||||
add_generation_prompt=True,
|
||||
return_tensors="pt"
|
||||
).to("cuda")
|
||||
|
||||
outputs = model.generate(
|
||||
inputs,
|
||||
max_new_tokens=128,
|
||||
temperature=0.5
|
||||
)
|
||||
|
||||
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# 🦙 GGUF / Local Inference
|
||||
|
||||
EmpathAI hỗ trợ đầy đủ GGUF để chạy local inference với:
|
||||
|
||||
* Ollama
|
||||
* llama.cpp
|
||||
* LM Studio
|
||||
* KoboldCpp
|
||||
* OpenWebUI
|
||||
|
||||
## Available Quantizations
|
||||
|
||||
| File | Recommended Use |
|
||||
| :------------ | :------------------------------------------ |
|
||||
| `Q4_K_M.gguf` | Cân bằng tốt giữa chất lượng và tốc độ |
|
||||
| `Q5_K_M.gguf` | Chất lượng cao hơn, dùng nhiều VRAM/RAM hơn |
|
||||
|
||||
---
|
||||
|
||||
# 🚀 Chạy với Ollama
|
||||
|
||||
Tạo `Modelfile`:
|
||||
|
||||
```text
|
||||
FROM ./empathAI-llama3.1-8b.Q4_K_M.gguf
|
||||
|
||||
TEMPLATE """{{ .Prompt }}"""
|
||||
|
||||
PARAMETER temperature 0.5
|
||||
PARAMETER num_ctx 4096
|
||||
```
|
||||
|
||||
Build model:
|
||||
|
||||
```bash
|
||||
ollama create empathai -f Modelfile
|
||||
```
|
||||
|
||||
Run:
|
||||
|
||||
```bash
|
||||
ollama run empathai
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# 🚀 Chạy với llama.cpp
|
||||
|
||||
```bash
|
||||
./llama-cli \
|
||||
--model empathAI-llama3.1-8b.Q4_K_M.gguf \
|
||||
-p "Xin chào"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# 💻 Recommended Hardware
|
||||
|
||||
| Quant | RAM / VRAM khuyến nghị |
|
||||
| :----- | :--------------------- |
|
||||
| Q4_K_M | ~8GB+ |
|
||||
| Q5_K_M | ~10GB+ |
|
||||
|
||||
---
|
||||
|
||||
# 🎯 Mục tiêu của project
|
||||
|
||||
EmpathAI không hướng tới:
|
||||
|
||||
* reasoning tổng quát
|
||||
* coding assistant
|
||||
* general-purpose chatbot
|
||||
|
||||
Mục tiêu chính là:
|
||||
|
||||
* realistic Vietnamese customer-support workflow
|
||||
* toxic customer handling
|
||||
* de-escalation
|
||||
* policy-aware support
|
||||
* safer e-commerce interactions
|
||||
|
||||
---
|
||||
|
||||
# 🔥 Ghi chú
|
||||
|
||||
Project hiện đang được maintain và cải tiến liên tục thông qua:
|
||||
|
||||
* dataset cleaning
|
||||
* synthetic data generation
|
||||
* DPO refinement
|
||||
* benchmark evaluation
|
||||
* safety-focused iteration
|
||||
|
||||
Các release mới sẽ tập trung vào:
|
||||
|
||||
* giảm hallucination
|
||||
* cải thiện workflow thực tế
|
||||
* tăng khả năng multi-turn
|
||||
* tăng độ ổn định khi dùng với RAG/tool systems
|
||||
* tăng realism cho toxic e-commerce support
|
||||
31
chat_template.jinja
Normal file
31
chat_template.jinja
Normal file
@@ -0,0 +1,31 @@
|
||||
{% if messages[0]['role'] == 'system' %}
|
||||
{% set system_message = messages[0]['content'] | trim %}
|
||||
{% set messages = messages[1:] %}
|
||||
{% else %}
|
||||
{% set system_message = "Bạn là EmpathAI, trợ lý CSKH tiếng Việt giàu sự thấu cảm, chuyên xử lý khiếu nại và hỗ trợ khách hàng." %}
|
||||
{% endif %}
|
||||
|
||||
<|start_header_id|>system<|end_header_id|>
|
||||
|
||||
{{ system_message }}<|eot_id|>
|
||||
|
||||
{% for message in messages %}
|
||||
|
||||
{% if message['role'] == 'user' %}
|
||||
<|start_header_id|>user<|end_header_id|>
|
||||
|
||||
{{ message['content'] | trim }}<|eot_id|>
|
||||
|
||||
{% elif message['role'] == 'assistant' %}
|
||||
<|start_header_id|>assistant<|end_header_id|>
|
||||
|
||||
{{ message['content'] | trim }}<|eot_id|>
|
||||
|
||||
{% endif %}
|
||||
|
||||
{% endfor %}
|
||||
|
||||
{% if add_generation_prompt %}
|
||||
<|start_header_id|>assistant<|end_header_id|>
|
||||
|
||||
{% endif %}
|
||||
34
config.json
Normal file
34
config.json
Normal file
@@ -0,0 +1,34 @@
|
||||
{
|
||||
"architectures": [
|
||||
"LlamaForCausalLM"
|
||||
],
|
||||
"attention_bias": false,
|
||||
"attention_dropout": 0.0,
|
||||
"bos_token_id": 128000,
|
||||
"eos_token_id": 128009,
|
||||
"head_dim": 128,
|
||||
"hidden_act": "silu",
|
||||
"hidden_size": 4096,
|
||||
"initializer_range": 0.02,
|
||||
"intermediate_size": 14336,
|
||||
"max_position_embeddings": 131072,
|
||||
"mlp_bias": false,
|
||||
"model_type": "llama",
|
||||
"num_attention_heads": 32,
|
||||
"num_hidden_layers": 32,
|
||||
"num_key_value_heads": 8,
|
||||
"pad_token_id": 128004,
|
||||
"pretraining_tp": 1,
|
||||
"rms_norm_eps": 1e-05,
|
||||
"rope_theta": 500000.0,
|
||||
"rope_scaling": {
|
||||
"factor": 8.0,
|
||||
"high_freq_factor": 4.0,
|
||||
"low_freq_factor": 1.0,
|
||||
"original_max_position_embeddings": 8192,
|
||||
"rope_type": "llama3"
|
||||
},
|
||||
"tie_word_embeddings": false,
|
||||
"use_cache": true,
|
||||
"vocab_size": 128256
|
||||
}
|
||||
14
generation_config.json
Normal file
14
generation_config.json
Normal file
@@ -0,0 +1,14 @@
|
||||
{
|
||||
"bos_token_id": 128000,
|
||||
"do_sample": true,
|
||||
"eos_token_id": [
|
||||
128001,
|
||||
128008,
|
||||
128009
|
||||
],
|
||||
"max_length": 131072,
|
||||
"pad_token_id": 128004,
|
||||
"temperature": 0.6,
|
||||
"top_p": 0.9,
|
||||
"transformers_version": "5.7.0"
|
||||
}
|
||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:76b0f4b8e797d63e4284320b10166f8dd65db8ae215dee61583540e76c0c4773
|
||||
size 16060556616
|
||||
6
special_tokens_map.json
Normal file
6
special_tokens_map.json
Normal file
@@ -0,0 +1,6 @@
|
||||
{
|
||||
"bos_token": "<|begin_of_text|>",
|
||||
"eos_token": "<|eot_id|>",
|
||||
"pad_token": "<|eot_id|>",
|
||||
"unk_token": "<|unk|>"
|
||||
}
|
||||
BIN
tokenizer.json
(Stored with Git LFS)
Normal file
BIN
tokenizer.json
(Stored with Git LFS)
Normal file
Binary file not shown.
24
tokenizer_config.json
Normal file
24
tokenizer_config.json
Normal file
@@ -0,0 +1,24 @@
|
||||
{
|
||||
"bos_token": "<|begin_of_text|>",
|
||||
"eos_token": "<|eot_id|>",
|
||||
"pad_token": "<|eot_id|>",
|
||||
"unk_token": "<|unk|>",
|
||||
|
||||
"padding_side": "right",
|
||||
|
||||
"model_max_length": 8192,
|
||||
|
||||
"model_input_names": [
|
||||
"input_ids",
|
||||
"attention_mask"
|
||||
],
|
||||
|
||||
"clean_up_tokenization_spaces": true,
|
||||
|
||||
"tokenizer_class": "PreTrainedTokenizerFast",
|
||||
|
||||
"add_bos_token": true,
|
||||
"add_eos_token": false,
|
||||
|
||||
"chat_template": "{% if messages[0]['role'] == 'system' %}\n {% set system_message = messages[0]['content'] | trim %}\n {% set messages = messages[1:] %}\n{% else %}\n {% set system_message = 'Bạn là EmpathAI, trợ lý CSKH tiếng Việt giàu sự thấu cảm, chuyên xử lý khiếu nại và hỗ trợ khách hàng.' %}\n{% endif %}\n\n<|start_header_id|>system<|end_header_id|>\n\n{{ system_message }}<|eot_id|>\n\n{% for message in messages %}\n\n {% if message['role'] == 'user' %}\n<|start_header_id|>user<|end_header_id|>\n\n{{ message['content'] | trim }}<|eot_id|>\n\n {% elif message['role'] == 'assistant' %}\n<|start_header_id|>assistant<|end_header_id|>\n\n{{ message['content'] | trim }}<|eot_id|>\n\n {% endif %}\n\n{% endfor %}\n\n{% if add_generation_prompt %}\n<|start_header_id|>assistant<|end_header_id|>\n\n{% endif %}"
|
||||
}
|
||||
Reference in New Issue
Block a user