enginex-c_series-text2video/README.md

## Quickstart

### Start with Docker
```bash
docker build -t text2video-metax .
metax-docker run -it --gpus=[0] -v <downloaded_model>:<model_dir_in_container> text2video-metax
```

[metax-docker](https://developer.metax-tech.com/softnova/category?package_kind=Cloud&dimension=metax&chip_name=%E6%9B%A6%E4%BA%91C500%E7%B3%BB%E5%88%97&deliver_type=%E5%88%86%E5%B1%82%E5%8C%85&series_name=metax-docker) 是沐曦官方的 docker wrapper, 允许自动将 gpu 挂载到容器内. Base 镜像需自行联系沐曦官方获取.


### 支持模型
- https://modelscope.cn/models/iic/text-to-video-synthesis
- https://www.modelscope.cn/models/Wan-AI/Wan2.1-T2V-1.3B

### 测试程序
1. 准备输入数据集，可以参考示例`dataset.json`
2. 在docker镜像里运行测试程序，会根据`dataset.json`内容，在`output`目录下生成视频文件。
```bash
python3 main.py --model "<model_dir_in_container>" --json  "dataset.json" --results "results.json" --outdir "output" --device cuda --dtype fp16
```

## 测试结果
|      | A100 平均生成时间（秒） | MetaX C500 平均生成时间（秒） |
|------|-------------------------|----------------------------|
| iic/text-to-video-synthesis | 12                  | 16                     |
| Wan-AI/Wan2.1-T2V-1.3B | 	195.2339 | 303.4363 |