初始化项目,由ModelHub XC社区提供模型
Model: TFMC/Japanese-Starling-ChatV-7B-GGUF Source: Original Platform
This commit is contained in:
53
README.md
Normal file
53
README.md
Normal file
@@ -0,0 +1,53 @@
|
||||
---
|
||||
license: apache-2.0
|
||||
language:
|
||||
- ja
|
||||
pipeline_tag: text-generation
|
||||
tags:
|
||||
- Mistral
|
||||
---
|
||||
# Japanese-Starling-ChatV-7B-GGUF
|
||||
|
||||
GGUF conversion of "<a href="https://huggingface.co/TFMC/Japanese-Starling-ChatV-7B">Japanese-Starling-ChatV-7B</a>"
|
||||
|
||||
"Japanese-Starling-ChatV-7B" is a Japanese chat model built on top of "<a href="https://huggingface.co/NTQAI/chatntq-ja-7b-v1.0">chatntq-ja-7b-v1.0</a>", originally based on Mistral-7B-v0.1.
|
||||
I applied the chat vector acquired by subtracting the weights of Mistral-7B-v0.1 from the weights of "<a href="https://huggingface.co/Nexusflow/Starling-LM-7B-beta">Starling-LM-7B-beta</a>" to this model.
|
||||
|
||||
このモデルはchatntq-ja-7b-v1.0をベースにした7Bパラメータの日本語チャットモデルです。高性能の英語モデルであるStarling-LM-7B-betaの重みからMistral-7B-v0.1の重みを差し引くことで得たchat vectorを適用しています(<a href="https://note.com/bakushu/n/ne95340f04b41">ブログ記事</a>)。
|
||||
|
||||
### Performance
|
||||
|
||||
<table>
|
||||
<tr>
|
||||
<th>Model<br>(Q8_0 quant)</th>
|
||||
<th><a href="https://huggingface.co/andrewcanis/c4ai-command-r-v01-GGUF">c4ai-command-r-v01-GGUF</a></th>
|
||||
<th>JA-Starling-ChatV-7B-GGUF (This model)</th>
|
||||
<th><a href="https://huggingface.co/TFMC/ChatNTQ-JA-7b-v1.0-GGUF">ChatNTQ-JA-7b-v1.0-GGUF</a></th>
|
||||
<th><a href="https://huggingface.co/mmnga/RakutenAI-7B-chat-gguf">RakutenAI-7B-chat-gguf</a></th>
|
||||
<th><a href="https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-7b-instruct-gguf">ELYZA-japanese-Llama-2-7b-instruct-gguf</a></th>
|
||||
</tr>
|
||||
<tr>
|
||||
<td>Parameters</td>
|
||||
<td>35B</td>
|
||||
<td>7B(Mistral)</td>
|
||||
<td>7B(Mistral)</td>
|
||||
<td>7B(Mistral)</td>
|
||||
<td>7B(Llama-2)</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td>ELYZAtasks100<br>average score</td>
|
||||
<td>3.42</td>
|
||||
<td>3.42</td>
|
||||
<td>3.06</td>
|
||||
<td>2.82</td>
|
||||
<td>2.46</td>
|
||||
</tr>
|
||||
</table>
|
||||
|
||||
Scores on "<a href="https://huggingface.co/datasets/elyza/ELYZA-tasks-100">ELYZA-tasks-100</a>" benchmark for the instruction-tuned Japanese models evaluated by GPT-4-0125-preview. Please note that this is a simplified evaluation using the Q8 quantized models.
|
||||
|
||||
このスコアはinstruction-tuningを行った日本語モデルのベンチマーク「ELYZA-tasks-100」を使い、GPT-4-0125-previewにより評価させたものです。Q8量子化モデルを用いた簡易的な評価であることにご留意ください。
|
||||
|
||||
### Prompt Template
|
||||
|
||||
<pre><code>[INST] <<SYS>>\nあなたは役に立つアシスタントです。\n<</SYS>>\n\n{prompt} [/INST]</code></pre>
|
||||
Reference in New Issue
Block a user