diff --git a/main.py b/main.py index 763643e..75566a9 100644 --- a/main.py +++ b/main.py @@ -262,8 +262,8 @@ def build_config_params(gpu: str) -> str: 'max_model_len': 4096, 'modelFormat': 'GGUF', 'sut_config': { + 'gpu_num': 1, 'values': { - 'gpu_num': 1, 'command': [ '/bin/bash', '-ic', 'llama-server --model /model --alias llm --threads 20 ' @@ -273,8 +273,9 @@ def build_config_params(gpu: str) -> str: } }, 'ref_config': { + 'gpu_num': 1, 'values': { - 'cpu_num': 2, 'gpu_num': 1, + 'cpu_num': 2, 'command': [ 'llama-server', '--model', '/model', '--alias', 'llm', '--threads', '20', '--n-gpu-layers', '999', @@ -298,8 +299,8 @@ def build_config_params(gpu: str) -> str: 'max_model_len': 2048, 'modelFormat': 'HuggingFace', 'sut_config': { + 'gpu_num': 1, 'values': { - 'gpu_num': 1, 'command': [ '/bin/bash', '-ic', 'vllm serve /model --port 8000 --served-model-name llm --max-model-len 2048 --dtype auto --gpu-memory-utilization 0.95 -tp 1 --enforce-eager --trust-remote-code' @@ -307,8 +308,9 @@ def build_config_params(gpu: str) -> str: } }, 'ref_config': { + 'gpu_num': 1, 'values': { - 'cpu_num': 2, 'gpu_num': 1, + 'cpu_num': 2, 'command': [ 'vllm', 'serve', '/model', '--port', '8000', '--served-model-name', 'llm', '--max-model-len', '2048',