High Throughput Inference Recommendation: DeepSeek V2

High Throughput Inference → DeepSeek V2

Visão geral do caso de uso

DeepSeek V2 by Deepseek is a recommended option for the High Throughput Inference use case.

Modelos recomendados

Classificação	Fornecedor	Janela de contexto	Score
#6	Deepseek	32K	35/100

Análise de desempenho

Desempenho em benchmarks

Benchmark	Pontuação
MMLU	78.2
HUMANEVAL	75.7
GSM8K	78.8
MATH	35.2
BBH	70.5
GPQA	31.5

Pontos fortes

采用 MoE 混合专家架构。

Requisitos

需要 deepseek 的 API 密钥
输入长度须在 32K 上下文窗口内