185 lines
6.9 KiB
Markdown
185 lines
6.9 KiB
Markdown
---
|
||
license: apache-2.0
|
||
language:
|
||
- zh
|
||
- en
|
||
base_model:
|
||
- Qwen/Qwen3-4B-Instruct-2507
|
||
pipeline_tag: text-generation
|
||
library_name: transformers
|
||
tags:
|
||
- qwen3
|
||
- chat
|
||
- sft
|
||
- nsfw
|
||
- not-for-all-audiences
|
||
datasets:
|
||
- ystemsrx/Erotic_Literature_Collection
|
||
- ystemsrx/Bad_Data_Alpaca
|
||
---
|
||
|
||
<div align="center">
|
||
|
||
# Qwen3-Sex
|
||
|
||
<p>
|
||
<a href="https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507"><img alt="Base Model" src="https://img.shields.io/badge/Base-Qwen3--4B--Instruct--2507-1f6feb"></a>
|
||
<a href="https://www.apache.org/licenses/LICENSE-2.0"><img alt="License" src="https://img.shields.io/badge/License-Apache%202.0-blue.svg"></a>
|
||
<img alt="Dtype" src="https://img.shields.io/badge/dtype-bfloat16-8957e5">
|
||
<img alt="Context" src="https://img.shields.io/badge/context-262K-2ea44f">
|
||
<img alt="Audience" src="https://img.shields.io/badge/Audience-18%2B-red">
|
||
<img alt="Not for all audiences" src="https://img.shields.io/badge/⚠️-NSFW-c00">
|
||
</p>
|
||
|
||
<p>
|
||
<strong>简体中文</strong> | <a href="./README.en.md">English</a>
|
||
</p>
|
||
|
||
</div>
|
||
|
||
基于 **Qwen3-4B-Instruct-2507** 进行 SFT 后得到的对话模型。
|
||
|
||
> [!WARNING]
|
||
> 本模型面向 **18 岁以上成年用户**，可能输出包含成人内容、露骨描写等不适合所有受众的文本。请在使用前阅读下方[免责声明](#免责声明)。
|
||
|
||
---
|
||
|
||
## 模型简介
|
||
|
||
| 项目 | 内容 |
|
||
| ----------------- | --------------------------------------------------- |
|
||
| **基础模型** | [Qwen/Qwen3-4B-Instruct-2507](https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507) |
|
||
| **数据类型** | bfloat16 |
|
||
| **上下文长度** | 原生支持 262,144（建议日常对话使用 4K–32K） |
|
||
| **对话模板** | ChatML（`<|im_start|>` / `<|im_end|>`） |
|
||
|
||
## 仓库内容
|
||
|
||
| 文件 | 说明 |
|
||
| ---------------------------------------------------- | -------------------------------------------- |
|
||
| `model-*.safetensors` | 完整权重（bfloat16） |
|
||
| `config.json` / `tokenizer*` / `chat_template.jinja` | 模型与分词器配置 |
|
||
| `generation_config.json` | **推荐推理参数（请保持默认以获得最佳效果）** |
|
||
| `infer.py` | 开箱即用的命令行多轮对话脚本 |
|
||
| `Modelfile` | Ollama 导入用的 Modelfile |
|
||
| `Qwen3-Sex-BF16.gguf` | 未量化 GGUF（BF16，约 8 GB） |
|
||
| `Qwen3-Sex-Q8_0.gguf` | Q8_0 量化 GGUF（约 4.3 GB） |
|
||
|
||
## 推荐推理配置
|
||
|
||
> [!IMPORTANT]
|
||
> `generation_config.json` 中的参数是经过调优后推荐使用的配置，**强烈建议保持默认**。
|
||
|
||
```json
|
||
{
|
||
"do_sample": true,
|
||
"temperature": 0.7,
|
||
"top_p": 0.8,
|
||
"repetition_penalty": 1.08,
|
||
"max_new_tokens": 2048,
|
||
"eos_token_id": [151645, 151643],
|
||
"pad_token_id": 151643,
|
||
"bos_token_id": 151643
|
||
}
|
||
```
|
||
|
||
---
|
||
|
||
## 快速使用
|
||
|
||
### 方式一：直接运行 `infer.py`（推荐）
|
||
|
||
仓库内已附带交互式命令行脚本，自动加载模型并按 `generation_config.json` 中的参数推理，开箱即用：
|
||
|
||
```bash
|
||
# 安装依赖（建议使用 uv 创建虚拟环境）
|
||
uv venv
|
||
source .venv/bin/activate
|
||
uv pip install torch transformers accelerate
|
||
|
||
# 启动对话
|
||
python infer.py
|
||
```
|
||
|
||
> [!TIP]
|
||
> 输入 `clear` 清空多轮对话历史，输入 `exit` 或 `quit` 退出。
|
||
|
||
### 方式二：最小化推理代码
|
||
|
||
```python
|
||
import torch
|
||
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
|
||
|
||
MODEL_NAME = "ystemsrx/Qwen3-Sex"
|
||
|
||
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
|
||
model = AutoModelForCausalLM.from_pretrained(
|
||
MODEL_NAME,
|
||
dtype=torch.bfloat16,
|
||
device_map="auto",
|
||
trust_remote_code=True,
|
||
)
|
||
model.eval()
|
||
|
||
# 加载推荐推理配置（保持默认即可获得最佳效果）
|
||
gen_config = GenerationConfig.from_pretrained(MODEL_NAME)
|
||
|
||
messages = [
|
||
{"role": "user", "content": "你好，简单介绍一下你自己。"},
|
||
]
|
||
|
||
inputs = tokenizer.apply_chat_template(
|
||
messages,
|
||
add_generation_prompt=True,
|
||
return_tensors="pt",
|
||
return_dict=True,
|
||
).to(model.device)
|
||
|
||
with torch.inference_mode():
|
||
output_ids = model.generate(**inputs, generation_config=gen_config)
|
||
|
||
response = tokenizer.decode(
|
||
output_ids[0][inputs["input_ids"].shape[-1]:],
|
||
skip_special_tokens=True,
|
||
)
|
||
print(response)
|
||
```
|
||
|
||
### 方式三：导入 Ollama 使用 GGUF
|
||
|
||
仓库中提供了 GGUF 格式模型文件（`Qwen3-Sex-BF16.gguf` 和 `Qwen3-Sex-Q8_0.gguf`），可直接通过 Ollama 加载：
|
||
|
||
```bash
|
||
# 使用仓库内的 Modelfile 创建模型
|
||
ollama create Qwen3-Sex -f Modelfile
|
||
|
||
# 启动对话
|
||
ollama run Qwen3-Sex
|
||
```
|
||
|
||
> [!CAUTION]
|
||
> GGUF 格式（尤其是 Q8_0 量化版）相比原始 safetensors 权重，**推理质量会有所下降**，部分细节、长上下文连贯性以及生成的稳定性可能不如直接使用 `infer.py`。如果对生成质量有较高要求，请优先使用方式一或方式二。
|
||
|
||
---
|
||
|
||
## 免责声明
|
||
|
||
> [!CAUTION]
|
||
> 下载或使用本模型即表示您已阅读、理解并同意以下全部条款。**如不同意，请立即停止下载和使用。**
|
||
|
||
<details open>
|
||
<summary><strong>点击折叠 / 展开完整声明</strong></summary>
|
||
|
||
1. **成人内容警告**：本模型在含有成人导向内容的语料上进行了微调，可能生成包含露骨、敏感或不适合工作场所（NSFW）的文本。**严禁未满 18 周岁的用户访问、下载或使用本模型。**
|
||
2. **使用范围**：本模型仅供学术研究、个人非商业用途及虚构创作参考。使用者必须遵守所在国家或地区的法律法规，**不得将本模型用于任何违法、侵犯他人权益、传播未成年人不当内容、生成真实人物不雅信息或其他违反公序良俗的目的。**
|
||
3. **责任归属**：模型作者对使用本模型产生的任何直接或间接后果（包括但不限于法律责任、精神损害、财产损失等）**不承担任何责任**。模型生成的内容不代表作者的立场或观点。
|
||
4. **平台合规**：在任何第三方平台、服务或应用中使用本模型时，请同时遵守该平台的使用条款及内容政策。
|
||
5. **风险自负**：模型可能产生事实性错误、偏见性表达或有害内容，使用者应自行甄别并承担使用风险。
|
||
6. **下载即视为同意**：下载或使用本模型即表示您已阅读、理解并同意以上全部条款。如不同意，请立即停止下载和使用。
|
||
|
||
</details>
|
||
|
||
## 许可证
|
||
|
||
本模型遵循 [Apache License 2.0](LICENSE) 协议，并继承基础模型 Qwen/Qwen3-4B-Instruct-2507 的相关许可条款。
|