Support min_tokens in sgl.gen (#1573)
This commit is contained in:
@@ -69,6 +69,7 @@ def get_server_args(backend: Optional[BaseBackend] = None):
|
||||
def gen(
|
||||
name: Optional[str] = None,
|
||||
max_tokens: Optional[int] = None,
|
||||
min_tokens: Optional[int] = None,
|
||||
stop: Optional[Union[str, List[str]]] = None,
|
||||
stop_token_ids: Optional[List[int]] = None,
|
||||
temperature: Optional[float] = None,
|
||||
@@ -108,6 +109,7 @@ def gen(
|
||||
return SglGen(
|
||||
name,
|
||||
max_tokens,
|
||||
min_tokens,
|
||||
stop,
|
||||
stop_token_ids,
|
||||
temperature,
|
||||
@@ -147,6 +149,7 @@ def gen_int(
|
||||
return SglGen(
|
||||
name,
|
||||
max_tokens,
|
||||
None,
|
||||
stop,
|
||||
stop_token_ids,
|
||||
temperature,
|
||||
@@ -185,6 +188,7 @@ def gen_string(
|
||||
return SglGen(
|
||||
name,
|
||||
max_tokens,
|
||||
None,
|
||||
stop,
|
||||
stop_token_ids,
|
||||
temperature,
|
||||
|
||||
Reference in New Issue
Block a user