6 lines
723 B
Python
Executable File
6 lines
723 B
Python
Executable File
from mlx_lm import load, generate
|
||
|
||
#model, tokenizer = load("mlx-community/Magicoder-S-DS-6.7B-MLX")
|
||
model, tokenizer = load("./")
|
||
response = generate(model, tokenizer, max_tokens=1024, prompt="Python 里面如何按照方法的调用次数以及方法参数值 limit_key 来做限流？需要考虑到滑动窗口，使用函数的第一个参数作 limit_key，按照每5分钟，对于每一个 limit_key 参数值，仅允许调用 20次，请给出代码实现。 要考虑到滑动窗口，需要清空滑动窗口前的数据，而不是最后一次调用之后5分钟清空所有计数。 最后请给出单元测试用例，以及执行测试用例的方法; It is used in rate limiting API calls.", verbose=True)
|