初始化项目,由ModelHub XC社区提供模型
Model: feixiangdedaxigua/ht-doctor-8b Source: Original Platform
This commit is contained in:
92
README.md
Normal file
92
README.md
Normal file
@@ -0,0 +1,92 @@
|
||||
---
|
||||
license: Apache License 2.0
|
||||
tasks:
|
||||
- text-generation
|
||||
frameworks: # 支持的深度学习框架,如"pytorch"、"tensorflow"等。
|
||||
- pytorch
|
||||
language: # 支持的语言类型
|
||||
- cn
|
||||
tags: # 用户可自定义标签,方便搜索和分类
|
||||
- 健康
|
||||
- 医疗
|
||||
- 问诊
|
||||
- 医生
|
||||
- medical
|
||||
base_model:
|
||||
- Qwen/Qwen3-8B
|
||||
|
||||
---
|
||||
|
||||
# 海豚医生-关心你的健康
|
||||
|
||||
## 介绍
|
||||
|
||||
海豚医生-医疗问诊、医疗行业专业问答大模型。
|
||||
|
||||
基于[Qwen3-8B](https://www.modelscope.cn/models/Qwen/Qwen3-8B)进行微调后获得本模型。
|
||||
|
||||
## GGUF-纯CPU推理
|
||||
|
||||
GGUF单文件:
|
||||
|
||||
[海豚医生-GGUF](https://www.modelscope.cn/models/feixiangdedaxigua/ht-doctor-8b-gguf/)
|
||||
|
||||
GGUF(Q8量化版):
|
||||
|
||||
[海豚医生-GGUF(Q8量化版)](https://www.modelscope.cn/models/feixiangdedaxigua/ht-doctor-8b-q8-gguf)
|
||||
|
||||
## 运行
|
||||
|
||||
安装modelscope:
|
||||
|
||||
```
|
||||
pip install modelscope
|
||||
```
|
||||
|
||||
下载模型:
|
||||
|
||||
```
|
||||
modelscope download --model="feixiangdedaxigua/ht-doctor-8b" --local_dir /root/ht-doctor-8b-model
|
||||
```
|
||||
|
||||
安装Swift:
|
||||
|
||||
```
|
||||
pip install 'ms-swift'
|
||||
```
|
||||
|
||||
命令行推理:
|
||||
|
||||
> 需要注意: transformers==4.51.3,否则会报错.
|
||||
|
||||
```
|
||||
CUDA_VISIBLE_DEVICES=0 \
|
||||
swift infer \
|
||||
--model /root/ht-doctor-8b-model/ \
|
||||
--stream true \
|
||||
--temperature 0.6 \
|
||||
--model_type qwen3 \
|
||||
--max_new_tokens 2048
|
||||
```
|
||||
|
||||
## 版权
|
||||
|
||||
基础模型及数据集版权归原机构或作者所有。
|
||||
|
||||
本模型依据Apache License 2.0进行授权。
|
||||
|
||||
## 结论
|
||||
|
||||
使用医疗数据集微调,数据量17k,微调后训练损失率和验证损失率均低于0.7。
|
||||
|
||||
如果有问题欢迎留言交流,感谢您的支持。
|
||||
|
||||
## 联系我
|
||||
|
||||
欢迎加入QQ群:728898358 或 关注公众号: 锤子代码
|
||||
|
||||
一起学习交流AI。
|
||||
|
||||
-----------
|
||||
|
||||
> 注意: 本项目仅供学术研究使用,不构成医疗建议。
|
||||
Reference in New Issue
Block a user