速率限制
如果用户的请求率或令牌使用率达到该模型的所有限制，我们会按模型限制使用：
| 模型 | 请求速率限制 | 代币速率限制 |
|---|---|---|
mistral-7b-instruct |
- 10/5秒 - 50/分钟 - 500/小时 | - 8000/10秒 - 80000/分钟 - 256000/10分钟 |
mixtral-8x7b-instruct |
- 4/5 秒 - 12 次/分钟 - 120 次/小时 | - 8000/分钟 - 32000/10分钟 |
codellama-34b-instruct |
- 10/5秒 - 30/分钟 - 300/小时 | - 20000/分钟 - 80000/10分钟 |
llama-2-70b-chat |
- 4/5 秒 - 12 次/分钟 - 120 次/小时 | - 8000/分钟 - 32000/10分钟 |
pplx-7b-chat |
- 4/5 秒 - 12 次/分钟 - 120 次/小时 | - 8000/分钟 - 32000/10分钟 |
pplx-70b-chat |
- 4/5 秒 - 12 次/分钟 - 120 次/小时 | - 8000/分钟 - 32000/10分钟 |
pplx-7b-online |
- 10/分钟 - 100/天 | 不适用 |
pplx-70b-online |
- 10/分钟 - 100/天 | 不适用 |
注意：这些速率限制可能会发生变化。
最后修改时间： 1 年前