93 lines
1.8 KiB
Markdown
93 lines
1.8 KiB
Markdown
---
|
||
license: Apache License 2.0
|
||
tasks:
|
||
- text-generation
|
||
frameworks: # 支持的深度学习框架，如"pytorch"、"tensorflow"等。
|
||
- pytorch
|
||
language: # 支持的语言类型
|
||
- cn
|
||
tags: # 用户可自定义标签，方便搜索和分类
|
||
- 健康
|
||
- 医疗
|
||
- 问诊
|
||
- 医生
|
||
- medical
|
||
base_model:
|
||
- Qwen/Qwen3-8B
|
||
|
||
---
|
||
|
||
# 海豚医生-关心你的健康
|
||
|
||
## 介绍
|
||
|
||
海豚医生-医疗问诊、医疗行业专业问答大模型。
|
||
|
||
基于[Qwen3-8B](https://www.modelscope.cn/models/Qwen/Qwen3-8B)进行微调后获得本模型。
|
||
|
||
## GGUF-纯CPU推理
|
||
|
||
GGUF单文件：
|
||
|
||
[海豚医生-GGUF](https://www.modelscope.cn/models/feixiangdedaxigua/ht-doctor-8b-gguf/)
|
||
|
||
GGUF（Q8量化版）：
|
||
|
||
[海豚医生-GGUF（Q8量化版）](https://www.modelscope.cn/models/feixiangdedaxigua/ht-doctor-8b-q8-gguf)
|
||
|
||
## 运行
|
||
|
||
安装modelscope:
|
||
|
||
```
|
||
pip install modelscope
|
||
```
|
||
|
||
下载模型:
|
||
|
||
```
|
||
modelscope download --model="feixiangdedaxigua/ht-doctor-8b" --local_dir /root/ht-doctor-8b-model
|
||
```
|
||
|
||
安装Swift：
|
||
|
||
```
|
||
pip install 'ms-swift'
|
||
```
|
||
|
||
命令行推理：
|
||
|
||
> 需要注意: transformers==4.51.3，否则会报错.
|
||
|
||
```
|
||
CUDA_VISIBLE_DEVICES=0 \
|
||
swift infer \
|
||
--model /root/ht-doctor-8b-model/ \
|
||
--stream true \
|
||
--temperature 0.6 \
|
||
--model_type qwen3 \
|
||
--max_new_tokens 2048
|
||
```
|
||
|
||
## 版权
|
||
|
||
基础模型及数据集版权归原机构或作者所有。
|
||
|
||
本模型依据Apache License 2.0进行授权。
|
||
|
||
## 结论
|
||
|
||
使用医疗数据集微调，数据量17k，微调后训练损失率和验证损失率均低于0.7。
|
||
|
||
如果有问题欢迎留言交流，感谢您的支持。
|
||
|
||
## 联系我
|
||
|
||
欢迎加入QQ群：728898358 或 关注公众号： 锤子代码
|
||
|
||
一起学习交流AI。
|
||
|
||
-----------
|
||
|
||
> 注意: 本项目仅供学术研究使用，不构成医疗建议。
|