This commit is contained in:
@@ -7,7 +7,7 @@ if [ "$1" = "serve" ] && [ -n "$2" ]; then
|
||||
MODEL_DIR="$2"
|
||||
shift 2
|
||||
|
||||
FIXED_DIR=$(python3 /opt/fix_tokenizer.py "$MODEL_DIR")
|
||||
FIXED_DIR=$(/opt/conda/bin/python /opt/fix_tokenizer.py "$MODEL_DIR")
|
||||
if [ -n "$FIXED_DIR" ]; then
|
||||
exec /opt/conda/bin/vllm_real serve "$MODEL_DIR" --tokenizer "$FIXED_DIR" "$@"
|
||||
else
|
||||
|
||||
Reference in New Issue
Block a user