twinkle-ai/gemma-3-4B-T1-it
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity
Files
8e552a98d1e19cef231aa4e064cd79f84fbe6b31
gemma-3-4B-T1-it/README.md

396 lines
18 KiB
Markdown
Raw Normal View History

初始化项目，由ModelHub XC社区提供模型 Model: twinkle-ai/gemma-3-4B-T1-it Source: Original Platform
2026-07-08 09:14:09 +08:00
---
license: gemma
language:
- en
- zh
base_model:
- google/gemma-3-4b-pt
library_name: transformers
tags:
- Taiwan
- R.O.C
- zhtw
- SLM
- Gemma-3
- gemma3
datasets:
- lianghsun/tw-reasoning-instruct
- lianghsun/tw-contract-review-chat
- minyichen/tw-instruct-R1-200k
- minyichen/tw_mm_R1
- minyichen/LongPaper_multitask_zh_tw_R1
- nvidia/Nemotron-Instruction-Following-Chat-v1
model-index:
- name: gemma-3-4B-T1-it
results:
- task:
type: question-answering
name: Single Choice Question
dataset:
type: ikala/tmmluplus
name: tmmlu+
config: all
split: test
revision: c0e8ae955997300d5dbf0e382bf0ba5115f85e8c
metrics:
- name: single choice
type: accuracy
value: 47.44
- task:
type: question-answering
name: Single Choice Question
dataset:
type: cais/mmlu
name: mmlu
config: all
split: test
revision: c30699e
metrics:
- name: single choice
type: accuracy
value: 59.13
- task:
type: question-answering
name: Single Choice Question
dataset:
type: lianghsun/tw-legal-benchmark-v1
name: tw-legal-benchmark-v1
config: all
split: test
revision: 66c3a5f
metrics:
- name: single choice
type: accuracy
value: 44.18
metrics:
- accuracy
---
# Model Card for gemma-3-4B-T1-it
<div align="center" style="line-height: 1;">
<a href="https://discord.gg/Cx737yw4ed" target="_blank" style="margin: 2px;">
<img alt="Discord"
src="https://img.shields.io/badge/Discord-Twinkle%20AI-7289da?style=for-the-badge&logo=discord&logoColor=white"
style="display: inline-block; vertical-align: middle;"/>
</a>
<a href="https://huggingface.co/twinkle-ai" target="_blank" style="margin: 2px;">
<img alt="Hugging Face"
src="https://img.shields.io/badge/Hugging%20Face-Twinkle%20AI-ffc107?style=for-the-badge&logo=huggingface&logoColor=white"
style="display: inline-block; vertical-align: middle;"/>
</a>
<a href="https://modelscope.cn/organization/twinkle-ai" target="_blank" style="margin: 2px;">
<img alt="ModelScope"
src="https://img.shields.io/badge/ModelScope-Twinkle%20AI-4b6cb7?style=for-the-badge"
style="display: inline-block; vertical-align: middle;"/>
</a>
<!-- Gemma 模型在 Hugging Face 上為 gated，使用者需同意 Google usage license -->
<a href="https://huggingface.co/google/gemma-3-4b-pt" style="margin: 2px;">
<img alt="License"
src="https://img.shields.io/badge/License-Gemma-0081fb?style=for-the-badge"
style="display: inline-block; vertical-align: middle;"/>
</a>
<a href="https://huggingface.co/twinkle-ai/gemma-3-4B-T1-it/blob/main/README_EN.md" target="_blank" style="margin: 2px;">
<img alt="English README"
src="https://img.shields.io/badge/README-English-blue?style=for-the-badge&logo=google-translate&logoColor=white"
style="display: inline-block; vertical-align: middle;"/>
</a>
</div>
![Gemma3-4B-T1-it_1000_x_500_px](https://cdn-uploads.huggingface.co/production/uploads/618dc56cbc345ca7bf95f3cd/zCyltaR4lKhKDt7nsLqrw.png)
<!-- Provide a quick summary of what the model is/does. -->
**gemma-3-4B-T1-it** 是專為中華民國台灣語境打造的繁體中文指令微調模型。本模型建構於 [google/gemma-3-4b-pt](https://huggingface.co/google/gemma-3-4b-pt) 架構之上，深度融合台灣人文社會脈絡與在地文化用語，能靈活應對法律條文釋義、學術教材編撰以及日常情境對話等多元任務。
此外，本模型在 **函式呼叫（Function Calling）** 結構理解與輸出穩定性 上進行了加強，為建構 AI Agent 或工具導向應用提供了良好的基礎能力。但模型本身不預設特定任務流程，適合搭配應用層的工具定義與控制邏輯，逐步發展符合實際需求的 Agent 系統。
> ⚠️ 規格重點：
> 本模型為 純文本單模態（Single Modality）版本。
## Model Details
繼 [Formosa-1 Series](https://huggingface.co/collections/twinkle-ai/formosa-1-series) 在繁體中文開源社群獲得廣泛迴響後，Twinkle AI 持續致力於解決「模型中文化不足」與「語境文化隔閡」的痛點。gemma-3-4B-T1-it 是團隊在 Google Gemma 3 架構上的全新嘗試。有別於僅做語言翻譯的模型，T1 系列更加強調 **「台灣在地的人文社會底蘊」**。我們深知，語言是文化的載體，一個好的繁中模型不應只會寫繁體字，更要懂台灣的歷史脈絡、社會規範與法律體系。
> **T1**，是 **Taiwan** 的諧音縮寫，代表我們對於台灣本土文化的尊重與熱愛。
**核心特點 (Key Features)**
1. **深度在地化與人文社會脈絡 (Cultural Alignment)：**
* 針對台灣特有的 **人文社會學科（Humanities & Social Sciences）** 資料進行強化訓練。
* 修正了常見的大型語言模型在台灣用語上的偏差（例如法律用語、政府機關稱謂、地名與歷史事件描述），使其生成的內容更符合台灣讀者的認知習慣。
2. **Agent Base：強化的 Function Calling 能力：**
* 訓練階段中，我們特別針對 **Function Calling 格式**進行強化，使模型具備良好的結構理解能力與工具調用潛力。
* 模型能夠準確識別何時需要呼叫外部工具（API）、準確提取參數，並根據工具回傳的結果生成最終回覆。使用者可依自身應用場景（如 RAG、企業內部系統、自動化流程、專業決策支援等），進一步透過 **領域資料、工具定義與流程設計** 對模型進行強化與整合。
3. **多元場景專精 (Multi-domain Expertise)：**
* **法律實務：** 理解台灣法律條文結構，能協助進行基礎的條文釋義與法律文書輔助（註：僅供輔助，非正式法律意見）。
* **教育輔助：** 適合用於編寫符合台灣課綱風格的教材、考題解析及教學大綱。
* **生活應用：** 具備高指令跟隨能力（Instruction Following），無論是創意寫作、日常閒聊或資訊整理，都能提供精確且自然的繁體中文回應。
### Model Description
- **Developed by:** [Liang Hsun Huang](https://huggingface.co/lianghsun)、[Min Yi Chen](https://huggingface.co/minyichen)、[Wen Bin Lin](https://huggingface.co/tedslin) & [Dave Sung](https://huggingface.co/k1dave6412) (All authors have contributed equally to this work.)
- **Funded by:** [APMIC](https://www.apmic.ai/), [Jerry Wu](https://huggingface.co/JerryWu)
- **Base model:** [google/gemma-3-4b-pt](https://huggingface.co/google/gemma-3-4b-pt)
- **Model type:** Gemma3ForConditionalGeneration (Transformers)
- **Language(s) (NLP):** Traditional Chinese & English
- **License:** gemma (Google usage license; gated on Hugging Face)
### Model Sources
- **Repository:** [twinkle-ai/gemma-3-4B-T1-it](https://huggingface.co/twinkle-ai/gemma-3-4B-T1-it)
## Evaluation
### Results
下表採用 [🌟 Twinkle Eval](https://github.com/ai-twinkle/Eval) 評測框架
| 模型 | 評測模式 | TMMLU+(%) | 台灣法律(%) | MMLU(%) | 測試次數 | 選項排序 |
|------------------------------------|:---------:|:----------------:|:----------------:|:----------------:|:---------:|:---------:|
| [google/gemma-3-4b-it](https://huggingface.co/google/gemma-3-4b-it) | box | 35.12 (±0.018) | 32.69 (±0.021) | 41.03 (±0.019) | 3 | 隨機 |
| 🌟[twinkle-ai/Llama-3.2-3B-F1-Instruct](https://huggingface.co/twinkle-ai/Llama-3.2-3B-F1-Instruct) (ours) | box | 44.11 (±0.018) | 35.24 (±0.012) | 50.64 (±0.019) | 3 | 隨機 |
| 🌟[twinkle-ai/gemma-3-4B-T1-it](https://huggingface.co/twinkle-ai/gemma-3-4B-T1-it) (ours) | box | 47.44 (±0.018)| 44.18 (±0.022) | 59.13 (±0.021)| 3 | 隨機 |
### Function Calling Benchmark
我們採用了 **BFCL (Berkeley Function Calling Leaderboard)** 來評估模型在 Function Calling（函式呼叫）任務中的表現。
測試使用的指標如下：
- **AST Accuracy（AST 正確率）**：
比較模型生成的函式呼叫與目標答案在抽象語法樹（AST）上的結構相似度。涵蓋四種題型：
- 單一函式（Simple Function）
- 多函式（Multiple Function）
- 平行函式（Parallel Function）
- 平行多函式（Parallel Multiple Function）
| Model | Overall Accuracy | AST Accuracy (S.) | AST Accuracy (M.) | AST Accuracy (P.) | AST Accuracy (P.M.) |
|-----------------|------------------|-------------------|-------------------|-------------------|---------------------|
| [google/gemma-3-4b-it](https://huggingface.co/google/gemma-3-4b-it) | 61 | 64 | 88 | 56 | 36 |
| 🌟[twinkle-ai/Llama-3.2-3B-F1-Instruct](https://huggingface.co/twinkle-ai/Llama-3.2-3B-F1-Instruct) (ours) | **91** | 93 | 95 | 91 | 87 |
| 🌟[twinkle-ai/gemma-3-4B-T1-it](https://huggingface.co/twinkle-ai/gemma-3-4B-T1-it) (ours) | 84.5 | 88 | 89 | 80 | 81 |
---
## Model Responses
下列範例展示 **gemma-3-4B-it**(原版) 與 🌟**gemma-3-4B-T1-it**(ours) 在台灣語境任務中的差異。
> 註：圖片中 👈 為 gemma-3-4B-it ； 👉 為 🌟gemma-3-4B-T1-it
### 地理位置
![地理位置1](https://cdn-uploads.huggingface.co/production/uploads/64b776d9a5018e3c7c99b459/NlsFpZCwv4lyivkXXeuDB.png)
### 本土用語
![很盤](https://cdn-uploads.huggingface.co/production/uploads/64b776d9a5018e3c7c99b459/XUhjDXDUQ42Ob3NST0j_L.png)
### 本土翻譯
> 國外的模型翻譯幾乎都是「中國用語」
![翻譯1](https://cdn-uploads.huggingface.co/production/uploads/64b776d9a5018e3c7c99b459/kNhgXow2Srk_GvgdVtMl4.png)
### 台灣之光
![周子瑜](https://cdn-uploads.huggingface.co/production/uploads/64b776d9a5018e3c7c99b459/hKhDy_d2F-sSb8lbE6Ne5.png)
### 台灣迷因
![超派鐵拳](https://cdn-uploads.huggingface.co/production/uploads/64b776d9a5018e3c7c99b459/jLWPNyuKscJAsmZgwbrl9.png)
## 🔧 Tool Calling
本模型使用 Hermes 格式訓練，並支援平行呼叫（Parallel calling），以下為完整範例流程。
Tool calling 模板已經為放置 chat_template。
### 1️⃣ 啟動 vLLM 後端
```bash
vllm serve twinkle-ai/gemma-3-4B-T1-it \
--port 8000 \
--enable-auto-tool-choice \
--tool-call-parser hermes
```
### 2️⃣ 定義工具（Functions）
```python
def get_weather(location: str, unit: str):
return f"{location}的氣溫是{unit}26度，晴朗無風"
def search(query: str):
return "川普終於宣布對等關稅政策，針對 18 個經濟體課徵一半的對等關稅，並從 4/5 起對所有進口產品徵收10%的基準關稅！美國將針對被認定為不當貿易行為(不公平貿易) 的國家，於 4/9 起課徵報復型對等關稅 (Discounted Reciprocal Tariff)，例如：日本將被課徵 24% 的關稅，歐盟則為 20%，以取代普遍性的 10% 關稅。\n針對中國則開啟新一波 34% 關稅，並疊加於先前已實施的關稅上，這將使中國進口商品的基本關稅稅率達到 54%，而且這尚未包含拜登總統任內或川普第一任期所施加的額外關稅。加拿大與墨西哥則不適用這套對等關稅制度，但川普認為這些國家在芬太尼危機與非法移民問題尚未完全解決，因此計畫對這兩國的大多數進口商品施加 25% 關稅。另外原本針對汽車與多數其他商品的關稅豁免將於 4/2 到期。\n台灣的部分，美國擬向台灣課徵32％的對等關稅，雖然並未針對晶片特別課徵關稅，但仍在記者會中提到台灣搶奪所有的電腦與半導體晶片，最終促成台積電對美國投資計劃額外加碼 1,000 億美元的歷史性投資；歐盟則課徵20％的對等關稅。最後是汽車關稅將於 4/2 起，對所有外國製造的汽車課徵25% 關稅。"
tools = [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather in a given location",
"parameters": {
"type": "object",
"properties": {
"location": {"type": "string", "description": "國家或城市名, e.g., 'Taipei'、'Jaipei'"},
"unit": {"type": "string", "description": "氣溫單位，亞洲城市使用攝氏；歐美城市使用華氏", "enum": ["celsius", "fahrenheit"]}
},
"required": ["location", "unit"]
}
}
},
{
"type": "function",
"function": {
"name": "search",
"description": "這是一個類似 Google 的搜尋引擎，關於知識、天氣、股票、電影、小說、百科等等問題，如果你不確定答案就搜尋一下。",
"parameters": {
"type": "object",
"properties": {
"query": {"type": "string", "description": "should be a search query, e.g., '2024 南韓 戒嚴'"}
},
"required": ["query"]
}
}
}
]
```
### 3️⃣ 執行工具調用（Tool Calls）
> **⚠️ 注意：system_prompt 可以不用帶，除非是需要時間基準的工具。**
```python
response = client.chat.completions.create(
model=client.models.list().data[0].id,
messages=[
{"role": "system", "content": "記住你的知識截止於 2024/12，今天是 2025/4/7"},
{"role": "user", "content": "台北氣溫如何? 另外，告訴我川普最新關稅政策"},
],
max_tokens=1500,
temperature=0.6,
top_p=0.95,
tools=tools,
tool_choice="auto"
)
print(response.choices[0].message.tool_calls)
```
#### ⚙️ Tool Calls List:
```json
[ChatCompletionMessageToolCall(id='chatcmpl-tool-35e74420119349999913a10133b84bd3', function=Function(arguments='{"location": "Taipei", "unit": "celsius"}', name='get_weather'), type='function'), ChatCompletionMessageToolCall(id='chatcmpl-tool-7ffdcb98e59f4134a6171defe7f2e31b', function=Function(arguments='{"query": "Donald Trump latest tariffs policy"}', name='search'), type='function')]
```
### 4️⃣ 產生最終回答
```python
response = client.chat.completions.create(
model=client.models.list().data[0].id,
messages=[
{"role": "system", "content": "記住你的知識截止於 2024/12，今天是 2025/4/7"},
{"role": "user", "content": "台北氣溫如何? 另外，告訴我川普最新關稅政策"},
{
"role": "assistant",
"content": "",
"tool_calls": [
{
"id": response.choices[0].message.tool_calls[0].id,
"type": "function",
"function": {
"name": response.choices[0].message.tool_calls[0].function.name,
"arguments": response.choices[0].message.tool_calls[0].function.arguments
}
},
{
"id": response.choices[0].message.tool_calls[1].id,
"type": "function",
"function": {
"name": response.choices[0].message.tool_calls[1].function.name,
"arguments": response.choices[0].message.tool_calls[1].function.arguments
}
}
]
},
{
"role": "tool",
"content": search(**json.loads(response.choices[0].message.tool_calls[0].function.arguments)),
"tool_call_id": response.choices[0].message.tool_calls[0].id # tool_call_id 必須要帶，才能正確配對 工具 及 tool_call
},
{
"role": "tool",
"content": get_weather(**json.loads(response.choices[0].message.tool_calls[1].function.arguments)),
"tool_call_id": response.choices[0].message.tool_calls[1].id # tool_call_id 必須要帶，才能正確配對 工具 及 tool_call
}
],
max_tokens=1500,
temperature=0.6,
top_p=0.95,
tools=tools,
tool_choice="auto"
)
print(response.choices[0].message.content)
```
#### 📋 最終輸出內容：
```text
以下是您請求的資訊：
**臺北市氣溫**
- 目前的氣溫為 **26°C**（攝氏）
- 天候狀況：晴朗無風
**川普最新關稅政策概述**
1. **對等關稅政策**
- 對 18 個經濟體課徵 50% 的對等關稅
- 自 4 月 5 日起，所有進口產品全面徵收 10% 基本關稅
2. **報復型對等關稅**
- 日本 24%、歐盟 20%
3. **對中國的高額關稅**
- 增加至 54%（原有關稅 + 新增 34%）
4. **特殊案例**
- 加拿大與墨西哥不適用，但其他商品課徵 25%
- 汽車與部分商品的免稅即將到期
5. **對台灣的影響**
- 美國計畫對台灣課徵 32% 關稅，但晶片暫無額外課稅
6. **全球視角**
- 歐盟與日本關稅比例相對較高
```
## Citation
<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
```yaml
@misc{twinkleai2025gemma3t1,
title = {gemma-3-4B-T1-it: A Traditional Chinese Instruction-Tuned Language Model for Taiwan},
author = {Huang, Liang Hsun and Chen, Min Yi and Lin, Wen Bin and Sung, Dave},
year = {2025},
howpublished = {\url{https://huggingface.co/twinkle-ai/gemma-3-4B-T1-it}},
note = {Twinkle AI and APMIC. All authors contributed equally.}
}
```
## Acknowledge
- 特此感謝 [APMIC](https://www.apmic.ai/) 的算力支援，才得以讓本專案訓利完成。
- 特此致謝 [中央社](https://www.cna.com.tw/) 以及所有提供寶貴協助的夥伴。
## Model Card Authors
[Twinkle AI](https://huggingface.co/twinkle-ai)
## Model Card Contact
[Twinkle AI](https://huggingface.co/twinkle-ai)
Reference in New Issue Copy Permalink