初始化项目,由ModelHub XC社区提供模型
Model: Pranavz/Peach-2.0-9B-8k-Roleplay-heretic Source: Original Platform
This commit is contained in:
324
tokenizer_config.json
Normal file
324
tokenizer_config.json
Normal file
@@ -0,0 +1,324 @@
|
||||
{
|
||||
"add_prefix_space": true,
|
||||
"backend": "tokenizers",
|
||||
"bos_token": "<|startoftext|>",
|
||||
"clean_up_tokenization_spaces": false,
|
||||
"eos_token": "<|im_end|>",
|
||||
"extra_special_tokens": [
|
||||
"<|startoftext|>",
|
||||
"<|endoftext|>",
|
||||
"<|Human|>",
|
||||
"<|Assistant|>",
|
||||
"<|System|>",
|
||||
"<|im_start|>",
|
||||
"<|im_end|>",
|
||||
"<|im_sep|>",
|
||||
"<|reserved003|>",
|
||||
"<|reserved004|>",
|
||||
"<|reserved005|>",
|
||||
"<|reserved006|>",
|
||||
"<|reserved007|>",
|
||||
"<fim_prefix>",
|
||||
"<fim_middle>",
|
||||
"<fim_suffix>",
|
||||
"<fim_pad>",
|
||||
"<filename>",
|
||||
"<gh_stars>",
|
||||
"<issue_start>",
|
||||
"<issue_comment>",
|
||||
"<issue_closed>",
|
||||
"<jupyter_start>",
|
||||
"<jupyter_text>",
|
||||
"<jupyter_code>",
|
||||
"<jupyter_output>",
|
||||
"<empty_output>",
|
||||
"<commit_before>",
|
||||
"<commit_msg>",
|
||||
"<commit_after>",
|
||||
"<reponame>",
|
||||
"<h1>",
|
||||
"<h1/>",
|
||||
"</h1>",
|
||||
"<h2>",
|
||||
"<h2/>",
|
||||
"</h2>",
|
||||
"<h3>",
|
||||
"<h3/>",
|
||||
"</h3>",
|
||||
"<h4>",
|
||||
"<h4/>",
|
||||
"</h4>",
|
||||
"<h5>",
|
||||
"<h5/>",
|
||||
"</h5>",
|
||||
"<br>",
|
||||
"<br/>",
|
||||
"</br>",
|
||||
"<strong>",
|
||||
"<strong/>",
|
||||
"</strong>",
|
||||
"<p>",
|
||||
"<p/>",
|
||||
"</p>",
|
||||
"<table>",
|
||||
"<table/>",
|
||||
"</table>",
|
||||
"<li>",
|
||||
"<li/>",
|
||||
"</li>",
|
||||
"<tr>",
|
||||
"<tr/>",
|
||||
"</tr>",
|
||||
"<tbody>",
|
||||
"<tbody/>",
|
||||
"</tbody>",
|
||||
"<img>",
|
||||
"<img/>",
|
||||
"</img>",
|
||||
"<b>",
|
||||
"<b/>",
|
||||
"</b>",
|
||||
"<td>",
|
||||
"<td/>",
|
||||
"</td>",
|
||||
"0",
|
||||
"1",
|
||||
"2",
|
||||
"3",
|
||||
"4",
|
||||
"5",
|
||||
"6",
|
||||
"7",
|
||||
"8",
|
||||
"9",
|
||||
"0",
|
||||
"1",
|
||||
"2",
|
||||
"3",
|
||||
"4",
|
||||
"5",
|
||||
"6",
|
||||
"7",
|
||||
"8",
|
||||
"9",
|
||||
",",
|
||||
".",
|
||||
"!",
|
||||
"?",
|
||||
",",
|
||||
"。",
|
||||
"!",
|
||||
"?",
|
||||
"、",
|
||||
":",
|
||||
"¥",
|
||||
"《",
|
||||
"》",
|
||||
"【",
|
||||
"】",
|
||||
"『",
|
||||
"』",
|
||||
"```",
|
||||
"<!--",
|
||||
"-->",
|
||||
"---",
|
||||
"<!DOCTYPE>",
|
||||
"\t\t\t\t\t\t\t\t",
|
||||
"\t\t\t\t\t\t\t",
|
||||
"\t\t\t\t\t\t",
|
||||
"\t\t\t\t\t",
|
||||
"\t\t\t\t",
|
||||
"\t\t\t",
|
||||
"\t\t",
|
||||
"\t",
|
||||
"▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁▁▁▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁▁▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁▁",
|
||||
"▁▁▁▁▁",
|
||||
"▁▁▁▁",
|
||||
"▁▁▁",
|
||||
"▁▁",
|
||||
"\b",
|
||||
"\r",
|
||||
"\n",
|
||||
"<|unused000|>",
|
||||
"<|unused001|>",
|
||||
"<|unused002|>",
|
||||
"<|unused003|>",
|
||||
"<|unused004|>",
|
||||
"<|unused005|>",
|
||||
"<|unused006|>",
|
||||
"<|unused007|>",
|
||||
"<|unused008|>",
|
||||
"<|unused009|>",
|
||||
"<|unused010|>",
|
||||
"<|unused011|>",
|
||||
"<|unused012|>",
|
||||
"<|unused013|>",
|
||||
"<|unused014|>",
|
||||
"<|unused015|>",
|
||||
"<|unused016|>",
|
||||
"<|unused017|>",
|
||||
"<|unused018|>",
|
||||
"<|unused019|>",
|
||||
"<|unused020|>",
|
||||
"<|unused021|>",
|
||||
"<|unused022|>",
|
||||
"<|unused023|>",
|
||||
"<|unused024|>",
|
||||
"<|unused025|>",
|
||||
"<|unused026|>",
|
||||
"<|unused027|>",
|
||||
"<|unused028|>",
|
||||
"<|unused029|>",
|
||||
"<|unused030|>",
|
||||
"<|unused031|>",
|
||||
"<|unused032|>",
|
||||
"<|unused033|>",
|
||||
"<|unused034|>",
|
||||
"<|unused035|>",
|
||||
"<|unused036|>",
|
||||
"<|unused037|>",
|
||||
"<|unused038|>",
|
||||
"<|unused039|>",
|
||||
"<|unused040|>",
|
||||
"<|unused041|>",
|
||||
"<|unused042|>",
|
||||
"<|unused043|>",
|
||||
"<|unused044|>",
|
||||
"<|unused045|>",
|
||||
"<|unused046|>",
|
||||
"<|unused047|>",
|
||||
"<|unused048|>",
|
||||
"<|unused049|>",
|
||||
"<|unused050|>",
|
||||
"<|unused051|>",
|
||||
"<|unused052|>",
|
||||
"<|unused053|>",
|
||||
"<|unused054|>",
|
||||
"<|unused055|>",
|
||||
"<|unused056|>",
|
||||
"<|unused057|>",
|
||||
"<|unused058|>",
|
||||
"<|unused059|>",
|
||||
"<|unused060|>",
|
||||
"<|unused061|>",
|
||||
"<|unused062|>",
|
||||
"<|unused063|>",
|
||||
"<|unused064|>",
|
||||
"<|unused065|>",
|
||||
"<|unused066|>",
|
||||
"<|unused067|>",
|
||||
"<|unused068|>",
|
||||
"<|unused069|>",
|
||||
"<|unused070|>",
|
||||
"<|unused071|>",
|
||||
"<|unused072|>",
|
||||
"<|unused073|>",
|
||||
"<|unused074|>",
|
||||
"<|unused075|>",
|
||||
"<|unused076|>",
|
||||
"<|unused077|>",
|
||||
"<|unused078|>",
|
||||
"<|unused079|>",
|
||||
"<|unused080|>",
|
||||
"<|unused081|>",
|
||||
"<|unused082|>",
|
||||
"<|unused083|>",
|
||||
"<|unused084|>",
|
||||
"<|unused085|>",
|
||||
"<|unused086|>",
|
||||
"<|unused087|>",
|
||||
"<|unused088|>",
|
||||
"<|unused089|>",
|
||||
"<|unused090|>",
|
||||
"<|unused091|>",
|
||||
"<|unused092|>",
|
||||
"<|unused093|>",
|
||||
"<|unused094|>",
|
||||
"<|unused095|>",
|
||||
"<|unused096|>",
|
||||
"<|unused097|>",
|
||||
"<|unused098|>",
|
||||
"<|unused099|>",
|
||||
"<|unused100|>",
|
||||
"<|unused101|>",
|
||||
"<|unused102|>",
|
||||
"<|unused103|>",
|
||||
"<|unused104|>",
|
||||
"<|unused105|>",
|
||||
"<|unused106|>",
|
||||
"<|unused107|>",
|
||||
"<|unused108|>",
|
||||
"<|unused109|>",
|
||||
"<|unused110|>",
|
||||
"<|unused111|>",
|
||||
"<|unused112|>",
|
||||
"<|unused113|>",
|
||||
"<|unused114|>",
|
||||
"<|unused115|>",
|
||||
"<|unused116|>",
|
||||
"<|unused117|>",
|
||||
"<|unused118|>",
|
||||
"<|unused119|>",
|
||||
"<|unused120|>",
|
||||
"<|unused121|>",
|
||||
"<|unused122|>",
|
||||
"<|unused123|>",
|
||||
"<|unused124|>",
|
||||
"<|unused125|>",
|
||||
"<|unused126|>",
|
||||
"<|unused127|>",
|
||||
"<|unused128|>",
|
||||
"<|unused129|>",
|
||||
"<|unused130|>",
|
||||
"<|unused131|>",
|
||||
"<|unused132|>",
|
||||
"<|unused133|>",
|
||||
"<|unused134|>",
|
||||
"<|unused135|>",
|
||||
"<|unused136|>",
|
||||
"<|unused137|>",
|
||||
"<|unused138|>",
|
||||
"<|unused139|>",
|
||||
"<|unused140|>",
|
||||
"<|unused141|>",
|
||||
"<|unused142|>",
|
||||
"<|unused143|>",
|
||||
"<|unused144|>",
|
||||
"<|unused145|>",
|
||||
"<|unused146|>",
|
||||
"<|unused147|>",
|
||||
"<|unused148|>",
|
||||
"<|unused149|>",
|
||||
"<|unused150|>",
|
||||
"<|unused151|>",
|
||||
"<|unused152|>",
|
||||
"<|unused153|>",
|
||||
"<|unused154|>",
|
||||
"<|unused155|>",
|
||||
"<|unused156|>",
|
||||
"<|unused157|>",
|
||||
"<|unused158|>",
|
||||
"<|unused159|>"
|
||||
],
|
||||
"is_local": false,
|
||||
"local_files_only": false,
|
||||
"model_max_length": 16384,
|
||||
"pad_token": "<unk>",
|
||||
"padding_side": "left",
|
||||
"sp_model_kwargs": {},
|
||||
"spaces_between_special_tokens": false,
|
||||
"split_special_tokens": false,
|
||||
"tokenizer_class": "LlamaTokenizer",
|
||||
"unk_token": "<unk>",
|
||||
"use_default_system_prompt": false
|
||||
}
|
||||
Reference in New Issue
Block a user