docs: 添加容器运行说明及注意事项

添加运行容器的命令示例,并强调必须使用 `--no-mmap` 参数以避免错误
This commit is contained in:
2026-01-23 16:47:14 +08:00
parent 8d3f9b9cb1
commit 36a77d3318

View File

@@ -9,3 +9,14 @@ docker build -t enginex-iluvatar/iluvatar-llama.cpp:b7516-bi150 .
```
最新镜像git.modelhub.org.cn:9443/enginex-iluvatar/iluvatar-llama.cpp:b7516-bi150
运行容器
**注意**:必须使用 `--no-mmap` 参数关闭内存映射,否则会报错
```bash
docker run -it --rm \
-v <model_dir>:/app/models \
--privileged \
-e CUDA_VISIBLE_DEVICES=0 \
git.modelhub.org.cn:9443/enginex-iluvatar/iluvatar-llama.cpp:b7516-bi150
/app/llama-cli -m /app/models/xxx.gguf --no-mmap -p "你好"
```