6.9 KiB
6.9 KiB
license, language, base_model, pipeline_tag, library_name, tags, datasets
| license | language | base_model | pipeline_tag | library_name | tags | datasets | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| apache-2.0 |
|
|
text-generation | transformers |
|
|
基于 Qwen3-4B-Instruct-2507 进行 SFT 后得到的对话模型。
Warning
本模型面向 18 岁以上成年用户,可能输出包含成人内容、露骨描写等不适合所有受众的文本。请在使用前阅读下方免责声明。
模型简介
| 项目 | 内容 |
|---|---|
| 基础模型 | Qwen/Qwen3-4B-Instruct-2507 |
| 数据类型 | bfloat16 |
| 上下文长度 | 原生支持 262,144(建议日常对话使用 4K–32K) |
| 对话模板 | ChatML(`< |
仓库内容
| 文件 | 说明 |
|---|---|
model-*.safetensors |
完整权重(bfloat16) |
config.json / tokenizer* / chat_template.jinja |
模型与分词器配置 |
generation_config.json |
推荐推理参数(请保持默认以获得最佳效果) |
infer.py |
开箱即用的命令行多轮对话脚本 |
Modelfile |
Ollama 导入用的 Modelfile |
Qwen3-Sex-BF16.gguf |
未量化 GGUF(BF16,约 8 GB) |
Qwen3-Sex-Q8_0.gguf |
Q8_0 量化 GGUF(约 4.3 GB) |
推荐推理配置
Important
generation_config.json中的参数是经过调优后推荐使用的配置,强烈建议保持默认。
{
"do_sample": true,
"temperature": 0.7,
"top_p": 0.8,
"repetition_penalty": 1.08,
"max_new_tokens": 2048,
"eos_token_id": [151645, 151643],
"pad_token_id": 151643,
"bos_token_id": 151643
}
快速使用
方式一:直接运行 infer.py(推荐)
仓库内已附带交互式命令行脚本,自动加载模型并按 generation_config.json 中的参数推理,开箱即用:
# 安装依赖(建议使用 uv 创建虚拟环境)
uv venv
source .venv/bin/activate
uv pip install torch transformers accelerate
# 启动对话
python infer.py
Tip
输入
clear清空多轮对话历史,输入exit或quit退出。
方式二:最小化推理代码
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
MODEL_NAME = "ystemsrx/Qwen3-Sex"
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
MODEL_NAME,
dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True,
)
model.eval()
# 加载推荐推理配置(保持默认即可获得最佳效果)
gen_config = GenerationConfig.from_pretrained(MODEL_NAME)
messages = [
{"role": "user", "content": "你好,简单介绍一下你自己。"},
]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt",
return_dict=True,
).to(model.device)
with torch.inference_mode():
output_ids = model.generate(**inputs, generation_config=gen_config)
response = tokenizer.decode(
output_ids[0][inputs["input_ids"].shape[-1]:],
skip_special_tokens=True,
)
print(response)
方式三:导入 Ollama 使用 GGUF
仓库中提供了 GGUF 格式模型文件(Qwen3-Sex-BF16.gguf 和 Qwen3-Sex-Q8_0.gguf),可直接通过 Ollama 加载:
# 使用仓库内的 Modelfile 创建模型
ollama create Qwen3-Sex -f Modelfile
# 启动对话
ollama run Qwen3-Sex
Caution
GGUF 格式(尤其是 Q8_0 量化版)相比原始 safetensors 权重,推理质量会有所下降,部分细节、长上下文连贯性以及生成的稳定性可能不如直接使用
infer.py。如果对生成质量有较高要求,请优先使用方式一或方式二。
免责声明
Caution
下载或使用本模型即表示您已阅读、理解并同意以下全部条款。如不同意,请立即停止下载和使用。
点击折叠 / 展开完整声明
- 成人内容警告:本模型在含有成人导向内容的语料上进行了微调,可能生成包含露骨、敏感或不适合工作场所(NSFW)的文本。严禁未满 18 周岁的用户访问、下载或使用本模型。
- 使用范围:本模型仅供学术研究、个人非商业用途及虚构创作参考。使用者必须遵守所在国家或地区的法律法规,不得将本模型用于任何违法、侵犯他人权益、传播未成年人不当内容、生成真实人物不雅信息或其他违反公序良俗的目的。
- 责任归属:模型作者对使用本模型产生的任何直接或间接后果(包括但不限于法律责任、精神损害、财产损失等)不承担任何责任。模型生成的内容不代表作者的立场或观点。
- 平台合规:在任何第三方平台、服务或应用中使用本模型时,请同时遵守该平台的使用条款及内容政策。
- 风险自负:模型可能产生事实性错误、偏见性表达或有害内容,使用者应自行甄别并承担使用风险。
- 下载即视为同意:下载或使用本模型即表示您已阅读、理解并同意以上全部条款。如不同意,请立即停止下载和使用。
许可证
本模型遵循 Apache License 2.0 协议,并继承基础模型 Qwen/Qwen3-4B-Instruct-2507 的相关许可条款。