High Throughput Inference: AI Model Selection Guide

High Throughput Inference

Aperçu du cas d’usage

This page focuses on the High Throughput Inference use case, covering core requirements, recommended models, and evaluation criteria.

Critères de sélection

• 开源权重许可

Critères d’évaluation

• 开源权重许可

Meilleures pratiques

• 提供系统提示以建立上下文
• 监控 token 用量与成本

Modèles recommandés

See the recommended models list for this use case (path: /en/use-cases/high-throughput/).