支持型号
在可能的情况下,我们尝试匹配 Hugging Face 实现。我们愿意调整 API,因此请联系我们提供有关这些详细信息的反馈。
模型 | 上下文长度 | 型号类型 |
---|---|---|
codellama-34b-instruct |
16384 | 聊天完成 |
llama-2-70b-chat |
4096 | 聊天完成 |
mistral-7b-instruct |
4096 [1] | 聊天完成 |
mixtral-8x7b-instruct |
4096 [1] | 聊天完成 |
pplx-7b-chat |
8192 | 聊天完成 |
pplx-70b-chat |
4096 | 聊天完成 |
pplx-7b-online |
4096 | 聊天完成 |
pplx-70b-online |
4096 | 聊天完成 |
[1] 我们将把上下文长度增加到32k 个标记(参见路线图)。
mistral-7b-instruct
特殊代币
如果您的聊天输入包含带有特殊标记的消息,我们不会提出任何例外。如果避免提示注入是您的用例的一个问题,建议您在调用 API 之前检查特殊令牌。有关更多详细信息,请阅读Meta 对 Llama 的建议。
最后修改时间: 1 年前