初始化项目,由ModelHub XC社区提供模型
Model: mixedbread-ai/mxbai-rerank-large-v1 Source: Original Platform
This commit is contained in:
50
onnx/quantize_config.json
Normal file
50
onnx/quantize_config.json
Normal file
@@ -0,0 +1,50 @@
|
||||
{
|
||||
"per_channel": true,
|
||||
"reduce_range": true,
|
||||
"per_model_config": {
|
||||
"model": {
|
||||
"op_types": [
|
||||
"Ceil",
|
||||
"Transpose",
|
||||
"Abs",
|
||||
"GatherElements",
|
||||
"Sign",
|
||||
"Unsqueeze",
|
||||
"Pow",
|
||||
"Log",
|
||||
"Erf",
|
||||
"Shape",
|
||||
"Softmax",
|
||||
"Div",
|
||||
"Squeeze",
|
||||
"Expand",
|
||||
"Constant",
|
||||
"Sqrt",
|
||||
"Gemm",
|
||||
"Less",
|
||||
"ConstantOfShape",
|
||||
"Range",
|
||||
"Clip",
|
||||
"LessOrEqual",
|
||||
"MatMul",
|
||||
"ReduceMean",
|
||||
"Identity",
|
||||
"Where",
|
||||
"Gather",
|
||||
"Greater",
|
||||
"Neg",
|
||||
"Equal",
|
||||
"Concat",
|
||||
"Add",
|
||||
"Slice",
|
||||
"Mul",
|
||||
"Tile",
|
||||
"Cast",
|
||||
"Reshape",
|
||||
"And",
|
||||
"Sub"
|
||||
],
|
||||
"weight_type": "QInt8"
|
||||
}
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user