Appearance
接口限流
默认限流
TIP
限流是按照账户限流的,而不是按照API Key,申请多个Key不会增加限流额度
TIP
即便调高了限流,您还是可能会遇到429错误,大概率是因为OpenAI侧负载过高导致的,这个无法避免,只能重试
具体各模型默认限流请参考控制台模型列表。
WARNING
为防止有人滥用平台提供的限流配额,平台对于400类请求失败会有相应惩罚措施,一次400错误会消耗数倍的限流配额,如果一次请求出现了400错误,比如超过了模型的最大token限制,请勿反复重试,否则会导致限流配额快速消耗完
限流提升
企业用户可能需要大规模调用平台接口,为了保证每个用户得到的资源能够合理分配,目前需要人工进行审核,请完成开发者认证后,邮件联系客服沟通申请,我们会根据您的需求进行评估。邮件内容请至少包括:
- 计划要高并发使用的模型
- 每个模型的预计TPM和RPM
- 描述下具体的使用场景,为什么需要高并发使用,比如是用于数据处理还是AI产品开发等
- 计划使用的时长,是短期需求,还是长期需求
- 预估消费的金额规模
- 要申请的账号邮箱