This commit is contained in:
@@ -7,7 +7,7 @@ if [ "$1" = "serve" ] && [ -n "$2" ]; then
|
|||||||
MODEL_DIR="$2"
|
MODEL_DIR="$2"
|
||||||
shift 2
|
shift 2
|
||||||
|
|
||||||
FIXED_DIR=$(python3 /opt/fix_tokenizer.py "$MODEL_DIR")
|
FIXED_DIR=$(/opt/conda/bin/python /opt/fix_tokenizer.py "$MODEL_DIR")
|
||||||
if [ -n "$FIXED_DIR" ]; then
|
if [ -n "$FIXED_DIR" ]; then
|
||||||
exec /opt/conda/bin/vllm_real serve "$MODEL_DIR" --tokenizer "$FIXED_DIR" "$@"
|
exec /opt/conda/bin/vllm_real serve "$MODEL_DIR" --tokenizer "$FIXED_DIR" "$@"
|
||||||
else
|
else
|
||||||
|
|||||||
Reference in New Issue
Block a user