Skip to content

供应商筛选、排序与智能路由

同一个模型有多家供应商提供 API 服务,此文档将介绍如何根据您的自身需求(如价格、吞吐、延迟、上下文长度等),在模型详情页内选择最合适的供应商和智能路由策略为您提供 API 调用服务

1. 根据需求定制 API 服务智能路由

AI Ping 将使用智能路由为您提供 API 服务,您的请求将被转发至高性价比的供应商。智能路由的默认路由策略可以满足大部分用户需求,该策略会在供应商服务的成本与性能之间进行平衡,同时在请求失败时为您自动路由至其他供应商

您也可以根据自身对 API 调用的各指标需求,定制自己的 API 调用服务。相关功能在模型详情页底部的 API 部分上方。

图片

例如,您希望首字延迟在 5 秒内,单个请求输出吞吐在 50 TPS 以上,价格越便宜越好。那么就可以手动筛选排序:

延迟:0s-5s

吞吐:50-100+tps

智能路由策略:输出价格优先

下方的 API 示例代码将随着您的筛选排序一起被修改,您可以直接复制示例代码并使用。

图片

由于每家供应商在不同时间的吞吐、延迟等指标存在波动,智能路由会根据 7x24 小时长期监控数据为您选择最匹配您需求的供应商进行转发。 当某时刻所有供应商指标都不满足您的需求时,智能路由会将您的请求转发至和您的需求最接近的供应商。

更多与智能路由策略相关的 API 功能(如多关键字排序),可查看 路由策略

2. 根据需求查看供应商数据

在模型详情页上方,您也可以根据需求,筛选匹配自身需求的供应商,并按照某指标进行排序(点击表格第一行的指标文字,如“吞吐”)。默认按照输出吞吐从高到低排序。 图片