初始化项目，由ModelHub XC社区提供模型
Model: addansee2/EXAONE-4.0-1.2B-abliterated Source: Original Platform
This commit is contained in:
ModelHub XC
35
.gitattributes
vendored
Normal file
35
.gitattributes
vendored
Normal file
@@ -0,0 +1,35 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
16
README.md
Normal file
16
README.md
Normal file
@@ -0,0 +1,16 @@
|
||||
---
|
||||
pipeline_tag: text-generation
|
||||
library_name: transformers
|
||||
base_model: "LGAI-EXAONE/EXAONE-4.0-1.2B"
|
||||
tags:
|
||||
- uncensored
|
||||
- decensored
|
||||
- abliterated
|
||||
---
|
||||
|
||||
<center><b>The model has been abliterated so it can be used for any purpose</b></center>
|
||||
|
||||
| | LGAI-EXAONE/EXAONE-4.0-1.2B | This model (abliterated) |
|
||||
|-|-|-|
|
||||
| **Refusals** | 70.8% | 10.0% |
|
||||
| **KL Divergence** | 0 | 0.004 |
|
||||
146
chat_template.jinja
Normal file
146
chat_template.jinja
Normal file
@@ -0,0 +1,146 @@
|
||||
{%- if not skip_think is defined %}
|
||||
{%- set skip_think = true %}
|
||||
{%- endif %}
|
||||
|
||||
{%- set role_indicators = {
|
||||
'user': '[|user|]\n',
|
||||
'assistant': '[|assistant|]\n',
|
||||
'system': '[|system|]\n',
|
||||
'tool': '[|tool|]\n'
|
||||
} %}
|
||||
{%- set end_of_turn = '[|endofturn|]\n' %}
|
||||
|
||||
|
||||
{%- macro available_tools(tools) %}
|
||||
{{- "# Available Tools" }}
|
||||
{{- "\nYou can use none, one, or multiple of the following tools by calling them as functions to help with the user’s query." }}
|
||||
{{- "\nHere are the tools available to you in JSON format within <tool> and </tool> tags:\n" }}
|
||||
{%- for tool in tools %}
|
||||
{{- "<tool>" }}
|
||||
{{- tool | tojson(ensure_ascii=False) | safe }}
|
||||
{{- "</tool>\n" }}
|
||||
{%- endfor %}
|
||||
|
||||
{{- "\nFor each function call you want to make, return a JSON object with function name and arguments within <tool_call> and </tool_call> tags, like:" }}
|
||||
{{- "\n<tool_call>{\"name\": function_1_name, \"arguments\": {argument_1_name: argument_1_value, argument_2_name: argument_2_value}}</tool_call>" }}
|
||||
{{- "\n<tool_call>{\"name\": function_2_name, \"arguments\": {...}}</tool_call>\n..." }}
|
||||
{{- "\nNote that if no argument name is specified for a tool, you can just print the argument value directly, without the argument name or JSON formatting." }}
|
||||
{%- endmacro %}
|
||||
|
||||
|
||||
{%- set ns = namespace(last_query_index = messages|length - 1) %}
|
||||
{%- for message in messages %}
|
||||
{%- if message.role == "user" and message.content is string %}
|
||||
{%- set ns.last_query_index = loop.index0 -%}
|
||||
{%- endif %}
|
||||
{%- endfor %}
|
||||
|
||||
{%- for i in range(messages | length) %}
|
||||
{%- set msg = messages[i] %}
|
||||
{%- set role = msg.role %}
|
||||
{%- if role not in role_indicators %}
|
||||
{{- raise_exception('Unknown role: ' ~ role) }}
|
||||
{%- endif %}
|
||||
|
||||
{%- if i == 0 %}
|
||||
{%- if role == 'system' %}
|
||||
{{- role_indicators['system'] }}
|
||||
{{- msg.content }}
|
||||
{%- if tools is defined and tools %}
|
||||
{{- "\n\n" }}{{- available_tools(tools) }}
|
||||
{%- endif %}
|
||||
{{- end_of_turn -}}
|
||||
{%- continue %}
|
||||
{%- elif tools is defined and tools %}
|
||||
{{- role_indicators['system'] }}
|
||||
{{- available_tools(tools) }}
|
||||
{{- end_of_turn -}}
|
||||
{%- endif %}
|
||||
{%- endif %}
|
||||
|
||||
{%- if role == 'assistant' %}
|
||||
{{- role_indicators['assistant'] }}
|
||||
|
||||
{%- if msg.content %}
|
||||
{%- if "</think>" in msg.content %}
|
||||
{%- set content = msg.content.split('</think>')[-1].strip() %}
|
||||
{%- set reasoning_content = msg.content.split('</think>')[0].strip() %}
|
||||
{%- if reasoning_content.startswith("<think>") %}
|
||||
{%- set reasoning_content = reasoning_content[9:].strip() %}
|
||||
{%- endif %}
|
||||
{%- else %}
|
||||
{%- set content = msg.content %}
|
||||
{%- endif %}
|
||||
|
||||
{%- if msg.reasoning_content %}
|
||||
{%- set reasoning_content = msg.reasoning_content %}
|
||||
{%- endif %}
|
||||
|
||||
{%- if (not skip_think and loop.last) and reasoning_content is defined %}
|
||||
{{- "<think>\n" }}
|
||||
{{- reasoning_content}}
|
||||
{{- "\n</think>\n\n" }}
|
||||
{%- else %}
|
||||
{{- "<think>\n\n</think>\n\n" }}
|
||||
{%- endif %}
|
||||
{{- content }}
|
||||
{%- endif %}
|
||||
|
||||
{%- if msg.tool_calls %}
|
||||
{%- if msg.content %}
|
||||
{{- "\n" }}
|
||||
{%- else %}
|
||||
{{- "<think>\n\n</think>\n\n" }}
|
||||
{%- endif %}
|
||||
{%- for tool_call in msg.tool_calls %}
|
||||
{%- if tool_call.function is defined %}
|
||||
{%- set tool_call = tool_call.function %}
|
||||
{%- endif %}
|
||||
|
||||
{%- if tool_call.arguments is defined %}
|
||||
{%- set arguments = tool_call.arguments %}
|
||||
{%- elif tool_call.parameters is defined %}
|
||||
{%- set arguments = tool_call.parameters %}
|
||||
{%- else %}
|
||||
{{- raise_exception('arguments or parameters are mandatory: ' ~ tool_call) }}
|
||||
{%- endif %}
|
||||
|
||||
{{- "<tool_call>" }}{"name": "{{- tool_call.name }}", "arguments": {{ arguments | tojson(ensure_ascii=False) | safe }}}{{- "</tool_call>" }}
|
||||
|
||||
{%- if not loop.last %}
|
||||
{{- "\n" }}
|
||||
{%- endif %}
|
||||
|
||||
{%- endfor %}
|
||||
{%- endif %}
|
||||
{{- end_of_turn -}}
|
||||
|
||||
{%- elif role == "tool" %}
|
||||
{%- if i == 0 or messages[i - 1].role != "tool" %}
|
||||
{{- role_indicators['tool'] }}
|
||||
{%- endif %}
|
||||
{%- if msg.content is defined %}
|
||||
{{- "<tool_result>" }}{"result": {{ msg.content | tojson(ensure_ascii=False) | safe }}}{{- "</tool_result>" }}
|
||||
{%- endif %}
|
||||
{%- if loop.last or messages[i + 1].role != "tool" %}
|
||||
{{- end_of_turn -}}
|
||||
{%- else %}
|
||||
{{- "\n" }}
|
||||
{%- endif %}
|
||||
|
||||
{%- else %}
|
||||
{{- role_indicators[role] }}
|
||||
{{- msg.content }}
|
||||
{{- end_of_turn -}}
|
||||
{%- endif %}
|
||||
{% endfor %}
|
||||
|
||||
|
||||
{%- if add_generation_prompt %}
|
||||
{{- role_indicators['assistant'] }}
|
||||
{%- if enable_thinking is defined and enable_thinking is true %}
|
||||
{{- "<think>\n" }}
|
||||
{%- else %}
|
||||
{{- "<think>\n\n</think>\n\n" }}
|
||||
{%- endif %}
|
||||
{%- endif %}
|
||||
67
config.json
Normal file
67
config.json
Normal file
@@ -0,0 +1,67 @@
|
||||
{
|
||||
"architectures": [
|
||||
"Exaone4ForCausalLM"
|
||||
],
|
||||
"attention_dropout": 0.0,
|
||||
"bos_token_id": 1,
|
||||
"dtype": "bfloat16",
|
||||
"eos_token_id": 361,
|
||||
"head_dim": 64,
|
||||
"hidden_act": "silu",
|
||||
"hidden_size": 2048,
|
||||
"initializer_range": 0.02,
|
||||
"intermediate_size": 4096,
|
||||
"layer_types": [
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention",
|
||||
"full_attention"
|
||||
],
|
||||
"max_position_embeddings": 65536,
|
||||
"model_type": "exaone4",
|
||||
"num_attention_heads": 32,
|
||||
"num_hidden_layers": 30,
|
||||
"num_key_value_heads": 8,
|
||||
"pad_token_id": 0,
|
||||
"rms_norm_eps": 1e-05,
|
||||
"rope_parameters": {
|
||||
"factor": 16.0,
|
||||
"high_freq_factor": 4.0,
|
||||
"low_freq_factor": 1.0,
|
||||
"original_max_position_embeddings": 8192,
|
||||
"rope_theta": 1000000.0,
|
||||
"rope_type": "llama3"
|
||||
},
|
||||
"sliding_window": null,
|
||||
"sliding_window_pattern": 0,
|
||||
"tie_word_embeddings": false,
|
||||
"transformers_version": "5.9.0",
|
||||
"use_cache": true,
|
||||
"vocab_size": 102400
|
||||
}
|
||||
7
generation_config.json
Normal file
7
generation_config.json
Normal file
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"_from_model_config": true,
|
||||
"bos_token_id": 1,
|
||||
"eos_token_id": 361,
|
||||
"pad_token_id": 0,
|
||||
"transformers_version": "5.9.0"
|
||||
}
|
||||
101783
merges.txt
Normal file
101783
merges.txt
Normal file
File diff suppressed because it is too large
Load Diff
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:b6cb747e0d3a698959854be79dca6a76a71e8b96dfaff972a822acd68176ee8c
|
||||
size 2978251912
|
||||
336
special_tokens_map.json
Normal file
336
special_tokens_map.json
Normal file
@@ -0,0 +1,336 @@
|
||||
{
|
||||
"additional_special_tokens": [
|
||||
"[unused0]",
|
||||
"[unused1]",
|
||||
"[unused2]",
|
||||
"[unused3]",
|
||||
"[unused4]",
|
||||
"[unused5]",
|
||||
"[unused6]",
|
||||
"[unused7]",
|
||||
"[unused8]",
|
||||
"[unused9]",
|
||||
"[unused10]",
|
||||
"[unused11]",
|
||||
"[unused12]",
|
||||
"[unused13]",
|
||||
"[unused14]",
|
||||
"[unused15]",
|
||||
"[unused16]",
|
||||
"[unused17]",
|
||||
"[unused18]",
|
||||
"[unused19]",
|
||||
"[unused20]",
|
||||
"[unused21]",
|
||||
"[unused22]",
|
||||
"[unused23]",
|
||||
"[unused24]",
|
||||
"[unused25]",
|
||||
"[unused26]",
|
||||
"[unused27]",
|
||||
"[unused28]",
|
||||
"[unused29]",
|
||||
"[unused30]",
|
||||
"[unused31]",
|
||||
"[unused32]",
|
||||
"[unused33]",
|
||||
"[unused34]",
|
||||
"[unused35]",
|
||||
"[unused36]",
|
||||
"[unused37]",
|
||||
"[unused38]",
|
||||
"[unused39]",
|
||||
"[unused40]",
|
||||
"[unused41]",
|
||||
"[unused42]",
|
||||
"[unused43]",
|
||||
"[unused44]",
|
||||
"[unused45]",
|
||||
"[unused46]",
|
||||
"[unused47]",
|
||||
"[unused48]",
|
||||
"[unused49]",
|
||||
"[unused50]",
|
||||
"[unused51]",
|
||||
"[unused52]",
|
||||
"[unused53]",
|
||||
"[unused54]",
|
||||
"[unused55]",
|
||||
"[unused56]",
|
||||
"[unused57]",
|
||||
"[unused58]",
|
||||
"[unused59]",
|
||||
"[unused60]",
|
||||
"[unused61]",
|
||||
"[unused62]",
|
||||
"[unused63]",
|
||||
"[unused64]",
|
||||
"[unused65]",
|
||||
"[unused66]",
|
||||
"[unused67]",
|
||||
"[unused68]",
|
||||
"[unused69]",
|
||||
"[unused70]",
|
||||
"[unused71]",
|
||||
"[unused72]",
|
||||
"[unused73]",
|
||||
"[unused74]",
|
||||
"[unused75]",
|
||||
"[unused76]",
|
||||
"[unused77]",
|
||||
"[unused78]",
|
||||
"[unused79]",
|
||||
"[unused80]",
|
||||
"[unused81]",
|
||||
"[unused82]",
|
||||
"[unused83]",
|
||||
"[unused84]",
|
||||
"[unused85]",
|
||||
"[unused86]",
|
||||
"[unused87]",
|
||||
"[unused88]",
|
||||
"[unused89]",
|
||||
"[unused90]",
|
||||
"[unused91]",
|
||||
"[unused92]",
|
||||
"[unused93]",
|
||||
"[unused94]",
|
||||
"[unused95]",
|
||||
"[unused96]",
|
||||
"[unused97]",
|
||||
"[unused98]",
|
||||
"[unused99]",
|
||||
"[extra_id_0]",
|
||||
"[extra_id_1]",
|
||||
"[extra_id_2]",
|
||||
"[extra_id_3]",
|
||||
"[extra_id_4]",
|
||||
"[extra_id_5]",
|
||||
"[extra_id_6]",
|
||||
"[extra_id_7]",
|
||||
"[extra_id_8]",
|
||||
"[extra_id_9]",
|
||||
"[extra_id_10]",
|
||||
"[extra_id_11]",
|
||||
"[extra_id_12]",
|
||||
"[extra_id_13]",
|
||||
"[extra_id_14]",
|
||||
"[extra_id_15]",
|
||||
"[extra_id_16]",
|
||||
"[extra_id_17]",
|
||||
"[extra_id_18]",
|
||||
"[extra_id_19]",
|
||||
"[extra_id_20]",
|
||||
"[extra_id_21]",
|
||||
"[extra_id_22]",
|
||||
"[extra_id_23]",
|
||||
"[extra_id_24]",
|
||||
"[extra_id_25]",
|
||||
"[extra_id_26]",
|
||||
"[extra_id_27]",
|
||||
"[extra_id_28]",
|
||||
"[extra_id_29]",
|
||||
"[extra_id_30]",
|
||||
"[extra_id_31]",
|
||||
"[extra_id_32]",
|
||||
"[extra_id_33]",
|
||||
"[extra_id_34]",
|
||||
"[extra_id_35]",
|
||||
"[extra_id_36]",
|
||||
"[extra_id_37]",
|
||||
"[extra_id_38]",
|
||||
"[extra_id_39]",
|
||||
"[extra_id_40]",
|
||||
"[extra_id_41]",
|
||||
"[extra_id_42]",
|
||||
"[extra_id_43]",
|
||||
"[extra_id_44]",
|
||||
"[extra_id_45]",
|
||||
"[extra_id_46]",
|
||||
"[extra_id_47]",
|
||||
"[extra_id_48]",
|
||||
"[extra_id_49]",
|
||||
"[extra_id_50]",
|
||||
"[extra_id_51]",
|
||||
"[extra_id_52]",
|
||||
"[extra_id_53]",
|
||||
"[extra_id_54]",
|
||||
"[extra_id_55]",
|
||||
"[extra_id_56]",
|
||||
"[extra_id_57]",
|
||||
"[extra_id_58]",
|
||||
"[extra_id_59]",
|
||||
"[extra_id_60]",
|
||||
"[extra_id_61]",
|
||||
"[extra_id_62]",
|
||||
"[extra_id_63]",
|
||||
"[extra_id_64]",
|
||||
"[extra_id_65]",
|
||||
"[extra_id_66]",
|
||||
"[extra_id_67]",
|
||||
"[extra_id_68]",
|
||||
"[extra_id_69]",
|
||||
"[extra_id_70]",
|
||||
"[extra_id_71]",
|
||||
"[extra_id_72]",
|
||||
"[extra_id_73]",
|
||||
"[extra_id_74]",
|
||||
"[extra_id_75]",
|
||||
"[extra_id_76]",
|
||||
"[extra_id_77]",
|
||||
"[extra_id_78]",
|
||||
"[extra_id_79]",
|
||||
"[extra_id_80]",
|
||||
"[extra_id_81]",
|
||||
"[extra_id_82]",
|
||||
"[extra_id_83]",
|
||||
"[extra_id_84]",
|
||||
"[extra_id_85]",
|
||||
"[extra_id_86]",
|
||||
"[extra_id_87]",
|
||||
"[extra_id_88]",
|
||||
"[extra_id_89]",
|
||||
"[extra_id_90]",
|
||||
"[extra_id_91]",
|
||||
"[extra_id_92]",
|
||||
"[extra_id_93]",
|
||||
"[extra_id_94]",
|
||||
"[extra_id_95]",
|
||||
"[extra_id_96]",
|
||||
"[extra_id_97]",
|
||||
"[extra_id_98]",
|
||||
"[extra_id_99]",
|
||||
"[extra_id_100]",
|
||||
"[extra_id_101]",
|
||||
"[extra_id_102]",
|
||||
"[extra_id_103]",
|
||||
"[extra_id_104]",
|
||||
"[extra_id_105]",
|
||||
"[extra_id_106]",
|
||||
"[extra_id_107]",
|
||||
"[extra_id_108]",
|
||||
"[extra_id_109]",
|
||||
"[extra_id_110]",
|
||||
"[extra_id_111]",
|
||||
"[extra_id_112]",
|
||||
"[extra_id_113]",
|
||||
"[extra_id_114]",
|
||||
"[extra_id_115]",
|
||||
"[extra_id_116]",
|
||||
"[extra_id_117]",
|
||||
"[extra_id_118]",
|
||||
"[extra_id_119]",
|
||||
"[extra_id_120]",
|
||||
"[extra_id_121]",
|
||||
"[extra_id_122]",
|
||||
"[extra_id_123]",
|
||||
"[extra_id_124]",
|
||||
"[extra_id_125]",
|
||||
"[extra_id_126]",
|
||||
"[extra_id_127]",
|
||||
"[extra_id_128]",
|
||||
"[extra_id_129]",
|
||||
"[extra_id_130]",
|
||||
"[extra_id_131]",
|
||||
"[extra_id_132]",
|
||||
"[extra_id_133]",
|
||||
"[extra_id_134]",
|
||||
"[extra_id_135]",
|
||||
"[extra_id_136]",
|
||||
"[extra_id_137]",
|
||||
"[extra_id_138]",
|
||||
"[extra_id_139]",
|
||||
"[extra_id_140]",
|
||||
"[extra_id_141]",
|
||||
"[extra_id_142]",
|
||||
"[extra_id_143]",
|
||||
"[extra_id_144]",
|
||||
"[extra_id_145]",
|
||||
"[extra_id_146]",
|
||||
"[extra_id_147]",
|
||||
"[extra_id_148]",
|
||||
"[extra_id_149]",
|
||||
"[extra_id_150]",
|
||||
"[extra_id_151]",
|
||||
"[extra_id_152]",
|
||||
"[extra_id_153]",
|
||||
"[extra_id_154]",
|
||||
"[extra_id_155]",
|
||||
"[extra_id_156]",
|
||||
"[extra_id_157]",
|
||||
"[extra_id_158]",
|
||||
"[extra_id_159]",
|
||||
"[extra_id_160]",
|
||||
"[extra_id_161]",
|
||||
"[extra_id_162]",
|
||||
"[extra_id_163]",
|
||||
"[extra_id_164]",
|
||||
"[extra_id_165]",
|
||||
"[extra_id_166]",
|
||||
"[extra_id_167]",
|
||||
"[extra_id_168]",
|
||||
"[extra_id_169]",
|
||||
"[extra_id_170]",
|
||||
"[extra_id_171]",
|
||||
"[extra_id_172]",
|
||||
"[extra_id_173]",
|
||||
"[extra_id_174]",
|
||||
"[extra_id_175]",
|
||||
"[extra_id_176]",
|
||||
"[extra_id_177]",
|
||||
"[extra_id_178]",
|
||||
"[extra_id_179]",
|
||||
"[extra_id_180]",
|
||||
"[extra_id_181]",
|
||||
"[extra_id_182]",
|
||||
"[extra_id_183]",
|
||||
"[extra_id_184]",
|
||||
"[extra_id_185]",
|
||||
"[extra_id_186]",
|
||||
"[extra_id_187]",
|
||||
"[extra_id_188]",
|
||||
"[|system|]",
|
||||
"[|tool|]",
|
||||
"[|assistant|]",
|
||||
"[|user|]",
|
||||
"[|endofturn|]",
|
||||
"PI:URL",
|
||||
"PI:EMAIL",
|
||||
"PI:ACCOUNT_NUM",
|
||||
"PI:PHONE_NUM",
|
||||
"PI:BUSINESS_NUM",
|
||||
"PI:ANNON",
|
||||
"PI:KEY",
|
||||
"PI:ID",
|
||||
"PI:IP_ADDRESS",
|
||||
"PI:USER"
|
||||
],
|
||||
"bos_token": {
|
||||
"content": "[BOS]",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"eos_token": {
|
||||
"content": "[|endofturn|]",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"pad_token": {
|
||||
"content": "[PAD]",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"unk_token": {
|
||||
"content": "[UNK]",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
}
|
||||
}
|
||||
512833
tokenizer.json
Normal file
512833
tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
16
tokenizer_config.json
Normal file
16
tokenizer_config.json
Normal file
@@ -0,0 +1,16 @@
|
||||
{
|
||||
"add_prefix_space": false,
|
||||
"backend": "tokenizers",
|
||||
"bos_token": "[BOS]",
|
||||
"clean_up_tokenization_spaces": false,
|
||||
"eos_token": "[|endofturn|]",
|
||||
"errors": "replace",
|
||||
"is_local": false,
|
||||
"local_files_only": false,
|
||||
"model_max_length": 1000000000000000019884624838656,
|
||||
"pad_token": "[PAD]",
|
||||
"padding_side": "left",
|
||||
"split_special_tokens": false,
|
||||
"tokenizer_class": "GPT2Tokenizer",
|
||||
"unk_token": "[UNK]"
|
||||
}
|
||||
1
vocab.json
Normal file
1
vocab.json
Normal file
File diff suppressed because one or more lines are too long
Reference in New Issue
Block a user