325 lines
6.1 KiB
JSON
325 lines
6.1 KiB
JSON
{
|
||
"add_prefix_space": true,
|
||
"backend": "tokenizers",
|
||
"bos_token": "<|startoftext|>",
|
||
"clean_up_tokenization_spaces": false,
|
||
"eos_token": "<|im_end|>",
|
||
"extra_special_tokens": [
|
||
"<|startoftext|>",
|
||
"<|endoftext|>",
|
||
"<|Human|>",
|
||
"<|Assistant|>",
|
||
"<|System|>",
|
||
"<|im_start|>",
|
||
"<|im_end|>",
|
||
"<|im_sep|>",
|
||
"<|reserved003|>",
|
||
"<|reserved004|>",
|
||
"<|reserved005|>",
|
||
"<|reserved006|>",
|
||
"<|reserved007|>",
|
||
"<fim_prefix>",
|
||
"<fim_middle>",
|
||
"<fim_suffix>",
|
||
"<fim_pad>",
|
||
"<filename>",
|
||
"<gh_stars>",
|
||
"<issue_start>",
|
||
"<issue_comment>",
|
||
"<issue_closed>",
|
||
"<jupyter_start>",
|
||
"<jupyter_text>",
|
||
"<jupyter_code>",
|
||
"<jupyter_output>",
|
||
"<empty_output>",
|
||
"<commit_before>",
|
||
"<commit_msg>",
|
||
"<commit_after>",
|
||
"<reponame>",
|
||
"<h1>",
|
||
"<h1/>",
|
||
"</h1>",
|
||
"<h2>",
|
||
"<h2/>",
|
||
"</h2>",
|
||
"<h3>",
|
||
"<h3/>",
|
||
"</h3>",
|
||
"<h4>",
|
||
"<h4/>",
|
||
"</h4>",
|
||
"<h5>",
|
||
"<h5/>",
|
||
"</h5>",
|
||
"<br>",
|
||
"<br/>",
|
||
"</br>",
|
||
"<strong>",
|
||
"<strong/>",
|
||
"</strong>",
|
||
"<p>",
|
||
"<p/>",
|
||
"</p>",
|
||
"<table>",
|
||
"<table/>",
|
||
"</table>",
|
||
"<li>",
|
||
"<li/>",
|
||
"</li>",
|
||
"<tr>",
|
||
"<tr/>",
|
||
"</tr>",
|
||
"<tbody>",
|
||
"<tbody/>",
|
||
"</tbody>",
|
||
"<img>",
|
||
"<img/>",
|
||
"</img>",
|
||
"<b>",
|
||
"<b/>",
|
||
"</b>",
|
||
"<td>",
|
||
"<td/>",
|
||
"</td>",
|
||
"0",
|
||
"1",
|
||
"2",
|
||
"3",
|
||
"4",
|
||
"5",
|
||
"6",
|
||
"7",
|
||
"8",
|
||
"9",
|
||
"０",
|
||
"１",
|
||
"２",
|
||
"３",
|
||
"４",
|
||
"５",
|
||
"６",
|
||
"７",
|
||
"８",
|
||
"９",
|
||
",",
|
||
".",
|
||
"!",
|
||
"?",
|
||
"，",
|
||
"。",
|
||
"！",
|
||
"？",
|
||
"、",
|
||
"：",
|
||
"￥",
|
||
"《",
|
||
"》",
|
||
"【",
|
||
"】",
|
||
"『",
|
||
"』",
|
||
"```",
|
||
"<!--",
|
||
"-->",
|
||
"---",
|
||
"<!DOCTYPE>",
|
||
"\t\t\t\t\t\t\t\t",
|
||
"\t\t\t\t\t\t\t",
|
||
"\t\t\t\t\t\t",
|
||
"\t\t\t\t\t",
|
||
"\t\t\t\t",
|
||
"\t\t\t",
|
||
"\t\t",
|
||
"\t",
|
||
"▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
|
||
"▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
|
||
"▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
|
||
"▁▁▁▁▁▁▁▁▁▁▁▁▁",
|
||
"▁▁▁▁▁▁▁▁▁▁▁▁",
|
||
"▁▁▁▁▁▁▁▁▁▁▁",
|
||
"▁▁▁▁▁▁▁▁▁▁",
|
||
"▁▁▁▁▁▁▁▁▁",
|
||
"▁▁▁▁▁▁▁▁",
|
||
"▁▁▁▁▁▁▁",
|
||
"▁▁▁▁▁▁",
|
||
"▁▁▁▁▁",
|
||
"▁▁▁▁",
|
||
"▁▁▁",
|
||
"▁▁",
|
||
"\b",
|
||
"\r",
|
||
"\n",
|
||
"<|unused000|>",
|
||
"<|unused001|>",
|
||
"<|unused002|>",
|
||
"<|unused003|>",
|
||
"<|unused004|>",
|
||
"<|unused005|>",
|
||
"<|unused006|>",
|
||
"<|unused007|>",
|
||
"<|unused008|>",
|
||
"<|unused009|>",
|
||
"<|unused010|>",
|
||
"<|unused011|>",
|
||
"<|unused012|>",
|
||
"<|unused013|>",
|
||
"<|unused014|>",
|
||
"<|unused015|>",
|
||
"<|unused016|>",
|
||
"<|unused017|>",
|
||
"<|unused018|>",
|
||
"<|unused019|>",
|
||
"<|unused020|>",
|
||
"<|unused021|>",
|
||
"<|unused022|>",
|
||
"<|unused023|>",
|
||
"<|unused024|>",
|
||
"<|unused025|>",
|
||
"<|unused026|>",
|
||
"<|unused027|>",
|
||
"<|unused028|>",
|
||
"<|unused029|>",
|
||
"<|unused030|>",
|
||
"<|unused031|>",
|
||
"<|unused032|>",
|
||
"<|unused033|>",
|
||
"<|unused034|>",
|
||
"<|unused035|>",
|
||
"<|unused036|>",
|
||
"<|unused037|>",
|
||
"<|unused038|>",
|
||
"<|unused039|>",
|
||
"<|unused040|>",
|
||
"<|unused041|>",
|
||
"<|unused042|>",
|
||
"<|unused043|>",
|
||
"<|unused044|>",
|
||
"<|unused045|>",
|
||
"<|unused046|>",
|
||
"<|unused047|>",
|
||
"<|unused048|>",
|
||
"<|unused049|>",
|
||
"<|unused050|>",
|
||
"<|unused051|>",
|
||
"<|unused052|>",
|
||
"<|unused053|>",
|
||
"<|unused054|>",
|
||
"<|unused055|>",
|
||
"<|unused056|>",
|
||
"<|unused057|>",
|
||
"<|unused058|>",
|
||
"<|unused059|>",
|
||
"<|unused060|>",
|
||
"<|unused061|>",
|
||
"<|unused062|>",
|
||
"<|unused063|>",
|
||
"<|unused064|>",
|
||
"<|unused065|>",
|
||
"<|unused066|>",
|
||
"<|unused067|>",
|
||
"<|unused068|>",
|
||
"<|unused069|>",
|
||
"<|unused070|>",
|
||
"<|unused071|>",
|
||
"<|unused072|>",
|
||
"<|unused073|>",
|
||
"<|unused074|>",
|
||
"<|unused075|>",
|
||
"<|unused076|>",
|
||
"<|unused077|>",
|
||
"<|unused078|>",
|
||
"<|unused079|>",
|
||
"<|unused080|>",
|
||
"<|unused081|>",
|
||
"<|unused082|>",
|
||
"<|unused083|>",
|
||
"<|unused084|>",
|
||
"<|unused085|>",
|
||
"<|unused086|>",
|
||
"<|unused087|>",
|
||
"<|unused088|>",
|
||
"<|unused089|>",
|
||
"<|unused090|>",
|
||
"<|unused091|>",
|
||
"<|unused092|>",
|
||
"<|unused093|>",
|
||
"<|unused094|>",
|
||
"<|unused095|>",
|
||
"<|unused096|>",
|
||
"<|unused097|>",
|
||
"<|unused098|>",
|
||
"<|unused099|>",
|
||
"<|unused100|>",
|
||
"<|unused101|>",
|
||
"<|unused102|>",
|
||
"<|unused103|>",
|
||
"<|unused104|>",
|
||
"<|unused105|>",
|
||
"<|unused106|>",
|
||
"<|unused107|>",
|
||
"<|unused108|>",
|
||
"<|unused109|>",
|
||
"<|unused110|>",
|
||
"<|unused111|>",
|
||
"<|unused112|>",
|
||
"<|unused113|>",
|
||
"<|unused114|>",
|
||
"<|unused115|>",
|
||
"<|unused116|>",
|
||
"<|unused117|>",
|
||
"<|unused118|>",
|
||
"<|unused119|>",
|
||
"<|unused120|>",
|
||
"<|unused121|>",
|
||
"<|unused122|>",
|
||
"<|unused123|>",
|
||
"<|unused124|>",
|
||
"<|unused125|>",
|
||
"<|unused126|>",
|
||
"<|unused127|>",
|
||
"<|unused128|>",
|
||
"<|unused129|>",
|
||
"<|unused130|>",
|
||
"<|unused131|>",
|
||
"<|unused132|>",
|
||
"<|unused133|>",
|
||
"<|unused134|>",
|
||
"<|unused135|>",
|
||
"<|unused136|>",
|
||
"<|unused137|>",
|
||
"<|unused138|>",
|
||
"<|unused139|>",
|
||
"<|unused140|>",
|
||
"<|unused141|>",
|
||
"<|unused142|>",
|
||
"<|unused143|>",
|
||
"<|unused144|>",
|
||
"<|unused145|>",
|
||
"<|unused146|>",
|
||
"<|unused147|>",
|
||
"<|unused148|>",
|
||
"<|unused149|>",
|
||
"<|unused150|>",
|
||
"<|unused151|>",
|
||
"<|unused152|>",
|
||
"<|unused153|>",
|
||
"<|unused154|>",
|
||
"<|unused155|>",
|
||
"<|unused156|>",
|
||
"<|unused157|>",
|
||
"<|unused158|>",
|
||
"<|unused159|>"
|
||
],
|
||
"is_local": false,
|
||
"local_files_only": false,
|
||
"model_max_length": 16384,
|
||
"pad_token": "<unk>",
|
||
"padding_side": "left",
|
||
"sp_model_kwargs": {},
|
||
"spaces_between_special_tokens": false,
|
||
"split_special_tokens": false,
|
||
"tokenizer_class": "LlamaTokenizer",
|
||
"unk_token": "<unk>",
|
||
"use_default_system_prompt": false
|
||
}
|