license, license_name, license_link, language, pipeline_tag, datasets

license	license_name	license_link	language	pipeline_tag	datasets
other	tongyi-qianwen-research	https://huggingface.co/Qwen/Qwen1.5-0.5B/blob/main/LICENSE	ja en	text-generation	izumi-lab/wikipedia-ja-20230720 oscar-corpus/OSCAR-2301 aixsatoshi/cosmopedia-japanese-100k BEE-spoke-data/wikipedia-20230901.en-deduped

モデルについて

Qwen/Qwen1.5-0.5Bを日英データ5Bトークンで継続事前学習したモデルです。

ベンチマークのスコアは低下していますが、ベースモデルよりも安定して日本語を出力するようになっています。

詳細はこちらをご覧ください。

ベンチマーク

Stability-AI/lm-evaluation-harnessの3項目で評価

モデル	jsquad(1-shot)	jcommonsenseqa(1-shot)	jnli(1-shot)
Kendamarron/Tokara-0.5B-v0.1	26.4295	0.2663	0.5509
Qwen/Qwen1.5-0.5B	31.3597	0.2556	0.5534

名前について

日本の在来馬であるトカラ馬から

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

model = AutoModelForCausalLM.from_pretrained('Kendamarron/Tokara-0.5B-v0.1')
tokenizer = AutoTokenizer.from_pretrained('Kendamarron/Tokara-0.5B-v0.1')

pipe = pipeline('text-generation', model=model, tokenizer=tokenizer)

prompt = "大規模言語モデルとは、"

print(pipe(prompt, max_length=128, repetition_penalty=1.1, temperature=0.7, top_p=0.95))