59 lines
1.2 KiB
Markdown
59 lines
1.2 KiB
Markdown
---
|
|
frameworks:
|
|
- Pytorch
|
|
license: Apache License 2.0
|
|
tags: []
|
|
tasks:
|
|
- text-generation
|
|
|
|
#model-type:
|
|
##如 gpt、phi、llama、chatglm、baichuan 等
|
|
#- gpt
|
|
|
|
#domain:
|
|
##如 nlp、cv、audio、multi-modal
|
|
#- nlp
|
|
|
|
#language:
|
|
##语言代码列表 https://help.aliyun.com/document_detail/215387.html?spm=a2c4g.11186623.0.0.9f8d7467kni6Aa
|
|
#- cn
|
|
|
|
#metrics:
|
|
##如 CIDEr、Blue、ROUGE 等
|
|
#- CIDEr
|
|
|
|
#tags:
|
|
##各种自定义，包括 pretrained、fine-tuned、instruction-tuned、RL-tuned 等训练方法和其他
|
|
#- pretrained
|
|
|
|
#tools:
|
|
##如 vllm、fastchat、llamacpp、AdaSeq 等
|
|
#- vllm
|
|
---
|
|
|
|
|
|
### 简介
|
|
PromptEnhancer-32B 的 GPTQ-4bit量化
|
|
运行需要显存 24G 及以上
|
|
|
|
### 示例
|
|
请根据用户的输入，生成思考过程的思维链并改写提示词：
|
|
摄影风格，一个女孩正对全身镜自拍，右手举着手机遮挡住脸部，镜头朦胧。具有真实感。
|
|
|
|
输入到模型之前需要将 <think> 内容去掉
|
|
|
|
SDK下载
|
|
```bash
|
|
#安装ModelScope
|
|
pip install modelscope
|
|
```
|
|
```python
|
|
#SDK模型下载
|
|
from modelscope import snapshot_download
|
|
model_dir = snapshot_download('laiqwq/PromptEnhancer-32B-GPTQ-4bit')
|
|
```
|
|
Git下载
|
|
```
|
|
#Git模型下载
|
|
git clone https://www.modelscope.cn/laiqwq/PromptEnhancer-32B-GPTQ-4bit.git
|
|
``` |