初始化项目，由ModelHub XC社区提供模型
Model: gvadhul/gpt2-2layer-1m Source: Original Platform
This commit is contained in:
ModelHub XC
35
.gitattributes
vendored
Normal file
35
.gitattributes
vendored
Normal file
@@ -0,0 +1,35 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
48
README.md
Normal file
48
README.md
Normal file
@@ -0,0 +1,48 @@
|
||||
---
|
||||
language:
|
||||
- en
|
||||
license: apache-2.0
|
||||
tags:
|
||||
- gpt2
|
||||
- causal-lm
|
||||
- text-generation
|
||||
- tiny
|
||||
- testing
|
||||
pipeline_tag: text-generation
|
||||
---
|
||||
|
||||
# gpt2-2layer-1m
|
||||
|
||||
A **randomly-initialized**, 2-layer GPT-2 model for functional / integration testing.
|
||||
It produces incoherent text — that is by design.
|
||||
|
||||
## Architecture
|
||||
|
||||
| Hyperparameter | Value |
|
||||
|---|---|
|
||||
| Architecture | GPT-2 (decoder-only) |
|
||||
| Layers | 2 |
|
||||
| Hidden size | 256 |
|
||||
| Attention heads | 4 |
|
||||
| FFN inner size | 1 024 |
|
||||
| Context length | 512 |
|
||||
| Vocabulary size | 183 (byte-level BPE) |
|
||||
| Total params | ~1.76 M |
|
||||
| Non-embedding params | ~1.58 M |
|
||||
|
||||
## Usage
|
||||
|
||||
```python
|
||||
from transformers import GPT2LMHeadModel, PreTrainedTokenizerFast
|
||||
|
||||
tokenizer = PreTrainedTokenizerFast.from_pretrained("gvadhul/gpt2-2layer-1m")
|
||||
model = GPT2LMHeadModel.from_pretrained("gvadhul/gpt2-2layer-1m")
|
||||
|
||||
inputs = tokenizer("Hello world", return_tensors="pt")
|
||||
out = model.generate(**inputs, max_new_tokens=20)
|
||||
print(tokenizer.decode(out[0]))
|
||||
```
|
||||
|
||||
## Intended use
|
||||
Functional / unit testing of pipelines that need a *tiny* causal LM.
|
||||
**Not suitable for any real NLP task** — weights are random.
|
||||
35
config.json
Normal file
35
config.json
Normal file
@@ -0,0 +1,35 @@
|
||||
{
|
||||
"activation_function": "gelu_new",
|
||||
"add_cross_attention": false,
|
||||
"architectures": [
|
||||
"GPT2LMHeadModel"
|
||||
],
|
||||
"attn_pdrop": 0.0,
|
||||
"bos_token_id": 0,
|
||||
"dtype": "float32",
|
||||
"embd_pdrop": 0.0,
|
||||
"eos_token_id": 0,
|
||||
"initializer_range": 0.02,
|
||||
"layer_norm_epsilon": 1e-05,
|
||||
"model_type": "gpt2",
|
||||
"n_ctx": 512,
|
||||
"n_embd": 256,
|
||||
"n_head": 4,
|
||||
"n_inner": 1024,
|
||||
"n_layer": 2,
|
||||
"n_positions": 2048,
|
||||
"pad_token_id": null,
|
||||
"reorder_and_upcast_attn": false,
|
||||
"resid_pdrop": 0.0,
|
||||
"scale_attn_by_inverse_layer_idx": false,
|
||||
"scale_attn_weights": true,
|
||||
"summary_activation": null,
|
||||
"summary_first_dropout": 0.1,
|
||||
"summary_proj_to_labels": true,
|
||||
"summary_type": "cls_index",
|
||||
"summary_use_proj": true,
|
||||
"tie_word_embeddings": true,
|
||||
"transformers_version": "5.12.1",
|
||||
"use_cache": true,
|
||||
"vocab_size": 183
|
||||
}
|
||||
9
generation_config.json
Normal file
9
generation_config.json
Normal file
@@ -0,0 +1,9 @@
|
||||
{
|
||||
"_from_model_config": true,
|
||||
"bos_token_id": 0,
|
||||
"eos_token_id": 0,
|
||||
"output_attentions": false,
|
||||
"output_hidden_states": false,
|
||||
"transformers_version": "5.12.1",
|
||||
"use_cache": true
|
||||
}
|
||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:f1a8c777831a0a1438148a4040f123764d69d636d8eec98927596949793684dc
|
||||
size 8607400
|
||||
714
tokenizer.json
Normal file
714
tokenizer.json
Normal file
@@ -0,0 +1,714 @@
|
||||
{
|
||||
"version": "1.0",
|
||||
"truncation": null,
|
||||
"padding": null,
|
||||
"added_tokens": [
|
||||
{
|
||||
"id": 0,
|
||||
"content": "<|endoftext|>",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": false,
|
||||
"special": true
|
||||
},
|
||||
{
|
||||
"id": 1,
|
||||
"content": "<|unk|>",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": false,
|
||||
"special": true
|
||||
}
|
||||
],
|
||||
"normalizer": null,
|
||||
"pre_tokenizer": {
|
||||
"type": "ByteLevel",
|
||||
"add_prefix_space": false,
|
||||
"trim_offsets": true,
|
||||
"use_regex": true
|
||||
},
|
||||
"post_processor": null,
|
||||
"decoder": {
|
||||
"type": "ByteLevel",
|
||||
"add_prefix_space": true,
|
||||
"trim_offsets": true,
|
||||
"use_regex": true
|
||||
},
|
||||
"model": {
|
||||
"type": "BPE",
|
||||
"dropout": null,
|
||||
"unk_token": "<|unk|>",
|
||||
"continuing_subword_prefix": null,
|
||||
"end_of_word_suffix": null,
|
||||
"fuse_unk": false,
|
||||
"byte_fallback": false,
|
||||
"ignore_merges": false,
|
||||
"vocab": {
|
||||
"<|endoftext|>": 0,
|
||||
"<|unk|>": 1,
|
||||
"!": 2,
|
||||
".": 3,
|
||||
"H": 4,
|
||||
"I": 5,
|
||||
"O": 6,
|
||||
"T": 7,
|
||||
"a": 8,
|
||||
"b": 9,
|
||||
"c": 10,
|
||||
"d": 11,
|
||||
"e": 12,
|
||||
"f": 13,
|
||||
"g": 14,
|
||||
"h": 15,
|
||||
"i": 16,
|
||||
"j": 17,
|
||||
"k": 18,
|
||||
"l": 19,
|
||||
"m": 20,
|
||||
"n": 21,
|
||||
"o": 22,
|
||||
"p": 23,
|
||||
"q": 24,
|
||||
"r": 25,
|
||||
"s": 26,
|
||||
"t": 27,
|
||||
"u": 28,
|
||||
"v": 29,
|
||||
"w": 30,
|
||||
"x": 31,
|
||||
"y": 32,
|
||||
"z": 33,
|
||||
"Ċ": 34,
|
||||
"Ġ": 35,
|
||||
"Ġt": 36,
|
||||
"Ġa": 37,
|
||||
"el": 38,
|
||||
"er": 39,
|
||||
"Th": 40,
|
||||
"del": 41,
|
||||
"es": 42,
|
||||
"fo": 43,
|
||||
"in": 44,
|
||||
"is": 45,
|
||||
"la": 46,
|
||||
"mo": 47,
|
||||
"Ġla": 48,
|
||||
"Ġmo": 49,
|
||||
"Ġtes": 50,
|
||||
"Ġmodel": 51,
|
||||
"Ġtest": 52,
|
||||
"al": 53,
|
||||
"as": 54,
|
||||
"ed": 55,
|
||||
"on": 56,
|
||||
"ra": 57,
|
||||
"wo": 58,
|
||||
"Ġb": 59,
|
||||
"Ġo": 60,
|
||||
"Ġu": 61,
|
||||
"Ġfo": 62,
|
||||
"Ġis": 63,
|
||||
"Ġth": 64,
|
||||
"Ġtin": 65,
|
||||
"The": 66,
|
||||
"Ġtiny": 67,
|
||||
"Hel": 68,
|
||||
"In": 69,
|
||||
"On": 70,
|
||||
"ag": 71,
|
||||
"ce": 72,
|
||||
"ck": 73,
|
||||
"do": 74,
|
||||
"eg": 75,
|
||||
"eed": 76,
|
||||
"gu": 77,
|
||||
"has": 78,
|
||||
"id": 79,
|
||||
"im": 80,
|
||||
"ion": 81,
|
||||
"ick": 82,
|
||||
"ju": 83,
|
||||
"ld": 84,
|
||||
"lo": 85,
|
||||
"mp": 86,
|
||||
"mer": 87,
|
||||
"mal": 88,
|
||||
"nd": 89,
|
||||
"ns": 90,
|
||||
"need": 91,
|
||||
"ngu": 92,
|
||||
"ow": 93,
|
||||
"pon": 94,
|
||||
"qu": 95,
|
||||
"rld": 96,
|
||||
"rmer": 97,
|
||||
"row": 98,
|
||||
"sed": 99,
|
||||
"smal": 100,
|
||||
"teg": 101,
|
||||
"tion": 102,
|
||||
"ut": 103,
|
||||
"ver": 104,
|
||||
"val": 105,
|
||||
"was": 106,
|
||||
"yer": 107,
|
||||
"zy": 108,
|
||||
"ĠTh": 109,
|
||||
"Ġwo": 110,
|
||||
"Ġdo": 111,
|
||||
"Ġhas": 112,
|
||||
"Ġju": 113,
|
||||
"Ġneed": 114,
|
||||
"Ġqu": 115,
|
||||
"Ġsmal": 116,
|
||||
"Ġval": 117,
|
||||
"Ġwas": 118,
|
||||
"Ġtra": 119,
|
||||
"Ġtwo": 120,
|
||||
"Ġtim": 121,
|
||||
"Ġand": 122,
|
||||
"ere": 123,
|
||||
"former": 124,
|
||||
"ing": 125,
|
||||
"Ġlangu": 126,
|
||||
"Ġlayer": 127,
|
||||
"Ġlazy": 128,
|
||||
"Ġtests": 129,
|
||||
"Ġtesting": 130,
|
||||
"ration": 131,
|
||||
"Ġbrow": 132,
|
||||
"Ġbut": 133,
|
||||
"Ġof": 134,
|
||||
"Ġover": 135,
|
||||
"Ġupon": 136,
|
||||
"Ġused": 137,
|
||||
"Ġfor": 138,
|
||||
"Ġfox": 139,
|
||||
"Ġthe": 140,
|
||||
"Ġthere": 141,
|
||||
"Hello": 142,
|
||||
"Integ": 143,
|
||||
"Once": 144,
|
||||
"age": 145,
|
||||
"mps": 146,
|
||||
"nsformer": 147,
|
||||
"ĠThis": 148,
|
||||
"Ġworld": 149,
|
||||
"Ġdog": 150,
|
||||
"Ġjumps": 151,
|
||||
"Ġquick": 152,
|
||||
"Ġsmall": 153,
|
||||
"Ġvalid": 154,
|
||||
"Ġtransformer": 155,
|
||||
"Ġtime": 156,
|
||||
"Ġlanguage": 157,
|
||||
"Ġlayers": 158,
|
||||
"Ġbrown": 159,
|
||||
"Integration": 160
|
||||
},
|
||||
"merges": [
|
||||
[
|
||||
"Ġ",
|
||||
"t"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"a"
|
||||
],
|
||||
[
|
||||
"e",
|
||||
"l"
|
||||
],
|
||||
[
|
||||
"e",
|
||||
"r"
|
||||
],
|
||||
[
|
||||
"T",
|
||||
"h"
|
||||
],
|
||||
[
|
||||
"d",
|
||||
"el"
|
||||
],
|
||||
[
|
||||
"e",
|
||||
"s"
|
||||
],
|
||||
[
|
||||
"f",
|
||||
"o"
|
||||
],
|
||||
[
|
||||
"i",
|
||||
"n"
|
||||
],
|
||||
[
|
||||
"i",
|
||||
"s"
|
||||
],
|
||||
[
|
||||
"l",
|
||||
"a"
|
||||
],
|
||||
[
|
||||
"m",
|
||||
"o"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"la"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"mo"
|
||||
],
|
||||
[
|
||||
"Ġt",
|
||||
"es"
|
||||
],
|
||||
[
|
||||
"Ġmo",
|
||||
"del"
|
||||
],
|
||||
[
|
||||
"Ġtes",
|
||||
"t"
|
||||
],
|
||||
[
|
||||
"a",
|
||||
"l"
|
||||
],
|
||||
[
|
||||
"a",
|
||||
"s"
|
||||
],
|
||||
[
|
||||
"e",
|
||||
"d"
|
||||
],
|
||||
[
|
||||
"o",
|
||||
"n"
|
||||
],
|
||||
[
|
||||
"r",
|
||||
"a"
|
||||
],
|
||||
[
|
||||
"w",
|
||||
"o"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"b"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"o"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"u"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"fo"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"is"
|
||||
],
|
||||
[
|
||||
"Ġt",
|
||||
"h"
|
||||
],
|
||||
[
|
||||
"Ġt",
|
||||
"in"
|
||||
],
|
||||
[
|
||||
"Th",
|
||||
"e"
|
||||
],
|
||||
[
|
||||
"Ġtin",
|
||||
"y"
|
||||
],
|
||||
[
|
||||
"H",
|
||||
"el"
|
||||
],
|
||||
[
|
||||
"I",
|
||||
"n"
|
||||
],
|
||||
[
|
||||
"O",
|
||||
"n"
|
||||
],
|
||||
[
|
||||
"a",
|
||||
"g"
|
||||
],
|
||||
[
|
||||
"c",
|
||||
"e"
|
||||
],
|
||||
[
|
||||
"c",
|
||||
"k"
|
||||
],
|
||||
[
|
||||
"d",
|
||||
"o"
|
||||
],
|
||||
[
|
||||
"e",
|
||||
"g"
|
||||
],
|
||||
[
|
||||
"e",
|
||||
"ed"
|
||||
],
|
||||
[
|
||||
"g",
|
||||
"u"
|
||||
],
|
||||
[
|
||||
"h",
|
||||
"as"
|
||||
],
|
||||
[
|
||||
"i",
|
||||
"d"
|
||||
],
|
||||
[
|
||||
"i",
|
||||
"m"
|
||||
],
|
||||
[
|
||||
"i",
|
||||
"on"
|
||||
],
|
||||
[
|
||||
"i",
|
||||
"ck"
|
||||
],
|
||||
[
|
||||
"j",
|
||||
"u"
|
||||
],
|
||||
[
|
||||
"l",
|
||||
"d"
|
||||
],
|
||||
[
|
||||
"l",
|
||||
"o"
|
||||
],
|
||||
[
|
||||
"m",
|
||||
"p"
|
||||
],
|
||||
[
|
||||
"m",
|
||||
"er"
|
||||
],
|
||||
[
|
||||
"m",
|
||||
"al"
|
||||
],
|
||||
[
|
||||
"n",
|
||||
"d"
|
||||
],
|
||||
[
|
||||
"n",
|
||||
"s"
|
||||
],
|
||||
[
|
||||
"n",
|
||||
"eed"
|
||||
],
|
||||
[
|
||||
"n",
|
||||
"gu"
|
||||
],
|
||||
[
|
||||
"o",
|
||||
"w"
|
||||
],
|
||||
[
|
||||
"p",
|
||||
"on"
|
||||
],
|
||||
[
|
||||
"q",
|
||||
"u"
|
||||
],
|
||||
[
|
||||
"r",
|
||||
"ld"
|
||||
],
|
||||
[
|
||||
"r",
|
||||
"mer"
|
||||
],
|
||||
[
|
||||
"r",
|
||||
"ow"
|
||||
],
|
||||
[
|
||||
"s",
|
||||
"ed"
|
||||
],
|
||||
[
|
||||
"s",
|
||||
"mal"
|
||||
],
|
||||
[
|
||||
"t",
|
||||
"eg"
|
||||
],
|
||||
[
|
||||
"t",
|
||||
"ion"
|
||||
],
|
||||
[
|
||||
"u",
|
||||
"t"
|
||||
],
|
||||
[
|
||||
"v",
|
||||
"er"
|
||||
],
|
||||
[
|
||||
"v",
|
||||
"al"
|
||||
],
|
||||
[
|
||||
"w",
|
||||
"as"
|
||||
],
|
||||
[
|
||||
"y",
|
||||
"er"
|
||||
],
|
||||
[
|
||||
"z",
|
||||
"y"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"Th"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"wo"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"do"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"has"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"ju"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"need"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"qu"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"smal"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"val"
|
||||
],
|
||||
[
|
||||
"Ġ",
|
||||
"was"
|
||||
],
|
||||
[
|
||||
"Ġt",
|
||||
"ra"
|
||||
],
|
||||
[
|
||||
"Ġt",
|
||||
"wo"
|
||||
],
|
||||
[
|
||||
"Ġt",
|
||||
"im"
|
||||
],
|
||||
[
|
||||
"Ġa",
|
||||
"nd"
|
||||
],
|
||||
[
|
||||
"er",
|
||||
"e"
|
||||
],
|
||||
[
|
||||
"fo",
|
||||
"rmer"
|
||||
],
|
||||
[
|
||||
"in",
|
||||
"g"
|
||||
],
|
||||
[
|
||||
"Ġla",
|
||||
"ngu"
|
||||
],
|
||||
[
|
||||
"Ġla",
|
||||
"yer"
|
||||
],
|
||||
[
|
||||
"Ġla",
|
||||
"zy"
|
||||
],
|
||||
[
|
||||
"Ġtest",
|
||||
"s"
|
||||
],
|
||||
[
|
||||
"Ġtest",
|
||||
"ing"
|
||||
],
|
||||
[
|
||||
"ra",
|
||||
"tion"
|
||||
],
|
||||
[
|
||||
"Ġb",
|
||||
"row"
|
||||
],
|
||||
[
|
||||
"Ġb",
|
||||
"ut"
|
||||
],
|
||||
[
|
||||
"Ġo",
|
||||
"f"
|
||||
],
|
||||
[
|
||||
"Ġo",
|
||||
"ver"
|
||||
],
|
||||
[
|
||||
"Ġu",
|
||||
"pon"
|
||||
],
|
||||
[
|
||||
"Ġu",
|
||||
"sed"
|
||||
],
|
||||
[
|
||||
"Ġfo",
|
||||
"r"
|
||||
],
|
||||
[
|
||||
"Ġfo",
|
||||
"x"
|
||||
],
|
||||
[
|
||||
"Ġth",
|
||||
"e"
|
||||
],
|
||||
[
|
||||
"Ġth",
|
||||
"ere"
|
||||
],
|
||||
[
|
||||
"Hel",
|
||||
"lo"
|
||||
],
|
||||
[
|
||||
"In",
|
||||
"teg"
|
||||
],
|
||||
[
|
||||
"On",
|
||||
"ce"
|
||||
],
|
||||
[
|
||||
"ag",
|
||||
"e"
|
||||
],
|
||||
[
|
||||
"mp",
|
||||
"s"
|
||||
],
|
||||
[
|
||||
"ns",
|
||||
"former"
|
||||
],
|
||||
[
|
||||
"ĠTh",
|
||||
"is"
|
||||
],
|
||||
[
|
||||
"Ġwo",
|
||||
"rld"
|
||||
],
|
||||
[
|
||||
"Ġdo",
|
||||
"g"
|
||||
],
|
||||
[
|
||||
"Ġju",
|
||||
"mps"
|
||||
],
|
||||
[
|
||||
"Ġqu",
|
||||
"ick"
|
||||
],
|
||||
[
|
||||
"Ġsmal",
|
||||
"l"
|
||||
],
|
||||
[
|
||||
"Ġval",
|
||||
"id"
|
||||
],
|
||||
[
|
||||
"Ġtra",
|
||||
"nsformer"
|
||||
],
|
||||
[
|
||||
"Ġtim",
|
||||
"e"
|
||||
],
|
||||
[
|
||||
"Ġlangu",
|
||||
"age"
|
||||
],
|
||||
[
|
||||
"Ġlayer",
|
||||
"s"
|
||||
],
|
||||
[
|
||||
"Ġbrow",
|
||||
"n"
|
||||
],
|
||||
[
|
||||
"Integ",
|
||||
"ration"
|
||||
]
|
||||
]
|
||||
}
|
||||
}
|
||||
9
tokenizer_config.json
Normal file
9
tokenizer_config.json
Normal file
@@ -0,0 +1,9 @@
|
||||
{
|
||||
"bos_token": "<|endoftext|>",
|
||||
"eos_token": "<|endoftext|>",
|
||||
"unk_token": "<|unk|>",
|
||||
"pad_token": "<|endoftext|>",
|
||||
"model_max_length": 512,
|
||||
"tokenizer_class": "PreTrainedTokenizerFast",
|
||||
"add_prefix_space": false
|
||||
}
|
||||
Reference in New Issue
Block a user