53 lines
2.5 KiB
Markdown
53 lines
2.5 KiB
Markdown
---
|
||
license: apache-2.0
|
||
language:
|
||
- ja
|
||
pipeline_tag: text-generation
|
||
tags:
|
||
- Mistral
|
||
---
|
||
# Japanese-Starling-ChatV-7B-GGUF
|
||
|
||
GGUF conversion of "<a href="https://huggingface.co/TFMC/Japanese-Starling-ChatV-7B">Japanese-Starling-ChatV-7B</a>"
|
||
|
||
"Japanese-Starling-ChatV-7B" is a Japanese chat model built on top of "<a href="https://huggingface.co/NTQAI/chatntq-ja-7b-v1.0">chatntq-ja-7b-v1.0</a>", originally based on Mistral-7B-v0.1.
|
||
I applied the chat vector acquired by subtracting the weights of Mistral-7B-v0.1 from the weights of "<a href="https://huggingface.co/Nexusflow/Starling-LM-7B-beta">Starling-LM-7B-beta</a>" to this model.
|
||
|
||
このモデルはchatntq-ja-7b-v1.0をベースにした7Bパラメータの日本語チャットモデルです。高性能の英語モデルであるStarling-LM-7B-betaの重みからMistral-7B-v0.1の重みを差し引くことで得たchat vectorを適用しています（<a href="https://note.com/bakushu/n/ne95340f04b41">ブログ記事</a>）。
|
||
|
||
### Performance
|
||
|
||
<table>
|
||
<tr>
|
||
<th>Model<br>(Q8_0 quant)</th>
|
||
<th><a href="https://huggingface.co/andrewcanis/c4ai-command-r-v01-GGUF">c4ai-command-r-v01-GGUF</a></th>
|
||
<th>JA-Starling-ChatV-7B-GGUF (This model)</th>
|
||
<th><a href="https://huggingface.co/TFMC/ChatNTQ-JA-7b-v1.0-GGUF">ChatNTQ-JA-7b-v1.0-GGUF</a></th>
|
||
<th><a href="https://huggingface.co/mmnga/RakutenAI-7B-chat-gguf">RakutenAI-7B-chat-gguf</a></th>
|
||
<th><a href="https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-7b-instruct-gguf">ELYZA-japanese-Llama-2-7b-instruct-gguf</a></th>
|
||
</tr>
|
||
<tr>
|
||
<td>Parameters</td>
|
||
<td>35B</td>
|
||
<td>7B(Mistral)</td>
|
||
<td>7B(Mistral)</td>
|
||
<td>7B(Mistral)</td>
|
||
<td>7B(Llama-2)</td>
|
||
</tr>
|
||
<tr>
|
||
<td>ELYZAtasks100<br>average score</td>
|
||
<td>3.42</td>
|
||
<td>3.42</td>
|
||
<td>3.06</td>
|
||
<td>2.82</td>
|
||
<td>2.46</td>
|
||
</tr>
|
||
</table>
|
||
|
||
Scores on "<a href="https://huggingface.co/datasets/elyza/ELYZA-tasks-100">ELYZA-tasks-100</a>" benchmark for the instruction-tuned Japanese models evaluated by GPT-4-0125-preview. Please note that this is a simplified evaluation using the Q8 quantized models.
|
||
|
||
このスコアはinstruction-tuningを行った日本語モデルのベンチマーク「ELYZA-tasks-100」を使い、GPT-4-0125-previewにより評価させたものです。Q8量子化モデルを用いた簡易的な評価であることにご留意ください。
|
||
|
||
### Prompt Template
|
||
|
||
<pre><code>[INST] <<SYS>>\nあなたは役に立つアシスタントです。\n<</SYS>>\n\n{prompt} [/INST]</code></pre> |