速率限制
| 模型 | 请求速率限制 | 代币速率限制 |
|---|---|---|
mistral-7b-instruct | - 10/5秒 - 50/分钟 - 500/小时 | - 8000/10秒 - 80000/分钟 - 256000/10分钟 |
mixtral-8x7b-instruct | - 4/5 秒 - 12 次/分钟 - 120 次/小时 | - 8000/分钟 - 32000/10分钟 |
codellama-34b-instruct | - 10/5秒 - 30/分钟 - 300/小时 | - 20000/分钟 - 80000/10分钟 |
llama-2-70b-chat | - 4/5 秒 - 12 次/分钟 - 120 次/小时 | - 8000/分钟 - 32000/10分钟 |
pplx-7b-chat | - 4/5 秒 - 12 次/分钟 - 120 次/小时 | - 8000/分钟 - 32000/10分钟 |
pplx-70b-chat | - 4/5 秒 - 12 次/分钟 - 120 次/小时 | - 8000/分钟 - 32000/10分钟 |
pplx-7b-online | - 10/分钟 - 100/天 | 不适用 |
pplx-70b-online | - 10/分钟 - 100/天 | 不适用 |